分析:關於蘋果WWDC 2018 的AI人工智慧技術及直播應用
這篇文章是從產品經理的角度,去淺談一下對WWDC大會所涉及的人工智慧。也是當時面試歡聚 YY AI產品經理其中六輪面試中第三輪中一些問題的梳理總結,後面得了Offer。(由於利益關係去掉了一些內容)對AI產品經理的相關面試和準備有興趣的小夥伴,歡迎關注~
目錄:
一、蘋果釋出會-涉及智慧科技
1. ARKit 2
USDZ
Measure
樂高+ARkit2(多人共享)
2. 人臉識別升級——Memoji動畫表情
3. Facetime
4. 照片應用
影象識別
For You
5. Siri-Shorcut
二、AI 產品經理面試談到的技術
1. 遊戲直播
2. 對戰遊戲
3. 戶外尋寶
談這個和AI PM有什麼關係呢?
因為AI PM是需要將AI技術與現有業務場景結合、落地產品化的,而2018 WWDC大會是恰逢app store 10週年,從大會內容及開發者角度去看,這對網際網路、人工智慧行業都蠻多意義的。
WWDC 2018釋出會 側重是“軟”功能上的升級,這或許是迎合App Store10週年,也可能是生態佈局的鋪墊。 從釋出會的功能看,主要是以蘋果為樞紐,聯結開發者和終端使用者。
其中大會功能點大概梳理如下:
一、蘋果釋出會:涉及智慧科技
1. ARKit 2
蘋果釋出會中,首先介紹了 ARKit 2,並公佈了新的 AR 的專用檔案格式 USDZ,ARKit 2主要有兩項更新: 與Pixar合作的新的檔案格式USDZ和多人共享AR。
(1)USDZ
USDZ是一個獨立的AR檔案格式,可以直接在 iOS 系統中開啟與分享,也可通過蘋果的File、Safari、mail、message等應用分享。所 以當開啟檔案,將AR效果直接置於現實環境中,就可以完成便捷的AR效果體驗。 而Adobe、Autodesk、Sketchfab、Quixel這些工具都可以創作出USDZ格式的AR檔案。
那麼,不會使用Unity等專業的軟體設計工具的非專業人員也能創作出AR內容,這將會極大地豐富AR內容生產。
(2)Measure
同時,蘋果還推出了一款名為Measure(測量)的應用,顧名思義,就是在AR中測量物體尺寸的工具。它可以利用 AR 互動和 AI技術來測量現實物體的長度,還可以自動感應照片等平面物體並計算它們的面積。
(3)樂高+ARkit2(多人共享)
ARKit 2可以實現更好的識別技術,並且增加了多使用者支援,可以多人共享一個 AR 環境,譬如:兩個人一起玩同一個 AR 遊戲。這次蘋果與樂高達成合作,現場演示如何在樂高建築模型上體驗直接生成的 AR 遊戲舞臺,將虛擬與顯示結合,大大提升遊戲的沉浸感,還可以兩個人一起。其中包括更好的細節渲染、兩臺 iOS 裝置在 AR 場景中進行互動的場景。
2. 人臉識別升級:Memoji動畫表情
去年,蘋果的人臉識別技術,加上iPhone X的攝像頭和3D結構光處理優勢,蘋果釋出了人臉識別動態emoji,也即Animoji。今年,Animoji也有升級,名字叫做Memoji。
全新的功能Memoji,使用者可以製作屬於自己的動話表情,新增 Memoji(根據人的面部容顏自定義多種 Emoji),自拍新增多種 Animoji 濾鏡。
原理還是人臉識別動態捕捉使用者表情然後轉化為3D emoji,這次蘋果提供了大量的資料庫,從髮型、膚色到眼鏡等裝飾品,便於使用者創造屬於自己的Animoji形象,也即Memoji。此外,Memoji在生成時,攝像頭可以使用各種濾鏡,在生成前給出更多效果。
(這個功能的理想形態還是用結構光掃描人臉,自動生成一個 3D 形象,現在還是需要完成類似“捏臉”的過程。)
使用者可以使用這個功能,錄一段話,生成一個用自己的聲音和表情說話的Memoji,並將它傳送給朋友。
3. Facetime
新增 Group Facetime 功能,與 Group Chat 整合,最多支援 32 人實時通話。同時 Facetime 新增實時 Animoji 濾鏡。這一功能在 iPad、iPhone 和 Mac 上可用。
互動介面經過了重新設計,在講話中的人的視窗會放大,同時上文提到的濾鏡和貼紙也可以應用到視訊聊天中。(社交通訊產品會不會跟進這一功能呢?)
4. 照片應用
(1)影象識別
提供了影象識別功能,照片也可以根據事件、地點、事件進行分類聚合。在你搜索之前,系統會給你提供搜尋建議。對各種各樣的個性化標籤(地名、場景等)搜尋,並且可以自動生成的個性化的 For You 照片專輯——毫無疑問運用了端側人工智慧。
(2)For You
新功能“For You”,是專門為使用者生成的推薦集,有“去年今日”等不同的主題。另外,iOS 12 在照片分享上也會給出建議,點開使用者可以首先快速勾選這一次旅行中的哪些照片可以分享,然後系統還會根據通訊錄頭像、以及分享照片中的人物推薦你在分享時候需要提醒誰。最後被你提醒的使用者還能直接訪問你旅行的整個照片集,可以說是一整套“異常自動化”的旅程分享產品了。
5. Siri-Shorcut
iOS 12 的解決方案讓使用者“教育” Siri。去年,效率工具 Workflow 被蘋果收購,如今,它被深度整合到了 Siri 當中。現在你可支援自定義喚醒詞,並且可以實現一系列的相關操作。
這項功能被蘋果命名為 Shorcu。簡而言之,有了Siri Shortcuts, 每個應用都可以將一些快捷功能提供給Siri,讓Siri以更智慧、更便捷、更符合使用者行為習慣的方式執行。
設定一系列操作,並且通過一個命令啟用完成,提高效率。例如:通過設定短語“I lost my keys”幫助尋找鑰匙的應用Tile App可以新增一個Shortcuts給Siri。然後當你說出這句話時,Siri可以自動開啟Tile,並且在Siri的介面直接調動尋找鑰匙這一功能,而無需去到應用裡。
可以想象以後,假設對 Siri 喊“我要回家”,得到反饋後,會完成路線導航—推薦車載音樂—開啟家中空調等一系列操作。
同時,也加入了建議功能,Siri 會根據使用者習慣給出一些建議,並且新增到鎖定螢幕。比如:若你每天在應用程式中做同樣的事情,Siri會記下來並提醒你;比方說:早上點杯你過去經常購買的咖啡,或是當你上班遲到了,可以觸發操作給同事們都發送一條訊息。你可以“分享”應用新增這個流程當中,讓 Siri 更聰明。
二、AI 產品經理面試談到的技術
談到釋出會能共享場景的技術應是ARKit2的多人分享,蘋果在AR上的技術進步其實也是來自於AI技術的發展,ARKit所需要的環境識別、3D渲染其實都需要AI技術提供支援。全新的Memoji功能也說明了蘋果的AR和AI 不分家的特點。
基於此聯想一些能落地到直播中的場景:
1. 遊戲直播
首先,通過設計一些通用的、有趣簡單的關卡遊戲。再讓主播開啟AR遊戲模式,掃描現實中某種符合識別的、有趣有挑戰性的場景。最後利用AR對現實場景進行增強遊戲化。
使用者能觀看不同場景下的遊戲化AR直播,同時遊戲本身也能趣味性、強互動性,能給予主播相關的提示、獎勵等等。
2. 對戰遊戲
通過連麥的方式,可以開啟遊戲的對戰模式。讓主播上傳某場景作為主場地,邀請其他主播進行PK。
3. 戶外尋寶
去年YY開啟過戶外AR尋寶,其互動模式大概是主播尋找+使用者提示, 若利用這技術,或許能支援多個主播參與,進行小隊合作等。可以是各主播都有獨特的技能、鑰匙,當其他主播發現了寶箱或者專屬主播的藏寶圖,可以進行掃描分享,以此邀請主播進行開啟,一併完成任務。
以上幾點就是關於2018蘋果 WWDC大會關於AI相關技術與落地的個人總結內容,希望能幫助在AI理解上有所啟發,謝謝。
本文由 @鳳城狂客 原創釋出於人人都是產品經理。未經許可,禁止轉載
題圖來自網路