深度長文：新iPhoneX憑什麼賣這麼貴？

摘要： iPhoneX已經在人工智慧領域邁出了一大步。 釋出會之後，網友紛紛表示新一代蘋果毫無新意，然而AI銳見可不這麼認為！畫素級影象分割、精準的人體關鍵點檢測，新iPhoneX集人工智慧前沿技術於一身，難怪售價這麼高！2018年9月13日凌晨三點鐘，國內果粉們頂著睏意看完了...

乍一看整體效果非常棒，幾千元的雙攝手機派出了單反的效果，但是我們注意到了細節： 如果後期處理演算法沒能檢測出物體的邊緣準確位置，那麼加入景深效果就會如上圖所示。也就是說，為了達到單反大光圈的景深攝影，單單使用大光圈、高畫素、雙攝的手機，達不到攝影愛好者的要求。 一張由12MP、f/1.8光圈手機單攝像頭完成的影象，如果我們仔細觀察這張照片的細節，會感嘆新一代iPhone的處理能力景深攝影，是手機ai攝像的一道坎，卡在了 演算法和算力 （運算能力）。 蘋果官網也對深度圖進行了一句話的簡單介紹： 那麼，這項手機攝像技術的 核心技術 在哪裡？

敲黑板！Mark重點：畫素級語義分割

不得不提高iPhoneXr另一項特技：一鍵換背景

iPhoneXr的一鍵換背景功能，可以讓使用者完成人像背景百變。

為什麼說這兩項功能很強大？首先看兩者有共同的演算法原理： 畫素級語義分割 。

什麼是語義分割？正如下圖：

(a)原圖，(b)語義分割

(c)例項分割，保留實體，去除背景

(d)全景分割，分割全部，同類物體也區分

語義分割，一項用於計算機視覺最前沿的演算法，目前廣泛用於基於攝像頭感測的自動駕駛系統：攝像頭採回來的影像通過語義分割，讓汽車分辨前方的車輛、行人、路牌等。分割嘛，區分不同物體。人的腦袋中也自帶這種演算法，只不過我們平時不會注意到它的存在。

畫素級的語義分割，顧名思義，就是將場景分割效果細緻到畫素點。這種演算法在自動駕駛汽車上要求達到1ms級的響應速度，很難做到手機這樣的分割效果，但在手機上幾秒鐘之內影象分割就可以有很好的使用者體驗了。

發表於2017年的ACM Multimedia會議上一家中國研究團隊的工作成果，通過畫素級語義分割，實現傢俱圖片背景的一秒更換，未來可以給購物者多方位的產品視覺參考。

一鍵換背景

甚至還可以結合面部檢測實現“一鍵換美裝”

然而目前這些功能還應用在PC端或者是藉助雲端計算的力量來實現。

基於A12的新一代iPhoneX，是革命性的：因為，以上覆雜演算法都可以在一臺手機上完成。

注意後三個處理步驟：面部檢測、面部標界、分割

iPhoneXr的“一鍵換背景”、景深攝像，真正達到了：

“原先只能通過搭建攝影棚或花時間PS出來的照片，現在只要幾秒種。”

大部分攝影師實現的高質量影象效果，只要藉助iPhoneXr在一秒之內完成！ 然而，iPhoneX還有一重大舉措：開放出基於人工智慧的應用開發平臺。 另一項炫酷的第三方應用程式HomeCourt，在iPhoneX系列上實現了下面這個功能：

人體骨骼關鍵點檢測（Pose Estimation）

人體骨骼關鍵點檢測的目的是讓機器“看到”人的行為，在視訊監控領域，該項技術被用於檢測畫面中人的特殊行為；機器人配備了這項能力則可以對使用者“察言觀色”，是智慧人機互動一大進步。蘋果的搭載A12處理器為新一代具備人機互動的智慧手機提供了一個應用程式平臺。

基於A12開發的應用代表之一：HomeCourt

iPhoneXs釋出會視訊中，黑色上衣男子起跳投籃，HomeCourt繪製出了該男子的體態點線圖。旁邊負責輔助訓練的白衣男子並未被檢測分析，說明這個應用程式可以自定義跟蹤被檢測物件。

行為檢測是一項非常具有挑戰的任務，堪稱在人工智慧一塊“難啃的骨頭” 。實際生活應用行為檢測功能不那麼容易，視覺資訊提取裝置需要兼顧場景中複雜的光線、動態的人物、突變的姿態，實時檢測的算力瓶頸也限制了這項功能的移動端化。實驗表明，為了讓機器區分人的多型行為，至少需要繪製13個關鍵點，這些關鍵點分佈在人體關節、腕部、頭部等。

2015年Leonid Pishchulin等人發表《DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation》，這篇文章基於CNN（ 卷積神經網路 ）提出了有別於先前檢測策略，可以分辨場景中距離相近的多個人的肢體行為。這篇文章影響廣泛，具有相當大的啟發性，為近幾年的姿態檢測研究奠定了一個方向，即將 深度神經網路 與行為檢測相結合。

基於CNN訓練出來的模型，準確率領先傳統演算法一大截

（圖片來自CSDN，題目《人體骨骼關鍵點檢測綜述》，作者 SIGAI_CSDN）

在蘋果的這款應用程式中，我們也可以看到這項技術的優勢體現： 準確的檢測目標的行為和姿態 。

當然，這項技術得以在移動裝置上實現，與A12適用於神經網路運算能力密切相關。

行為檢測演算法的研究在 深度神經網路 的應用下突飛猛進。公共安全領域的行為檢測技術已經幫助監控系統識別行動可疑的人物，或是發現需要緊急幫助的人，例如老人摔倒、心臟病突發者，甚至是走失的兒童。

百度雲端計算提供線上人體關鍵點檢測平臺

各大雲平臺也在佈局人體行為檢測的服務，例如百度、阿里雲、曠視科技（Face++）。

同樣的，蘋果這次升級的AR平臺也將在AppStore大有市場。

甚至可以與好友在AR遊戲中合作

渲染相當棒的大型3D遊戲畫面，畫質堪比家用遊戲主機

有沒有發現以上圖片中出現的功能之間的共同點？

那就是 : 高負荷圖形計算壓力 。

也就是說，為了實現絕大部分功能的實時化處理，蘋果為此搭載的A12處理器才是產品釋出的核心。

這些軟體處理的背後，你會發現一個關鍵詞彙： 神經網路 。如果要加上一個修飾詞，則是 深度神經網路 。

因為當下手機影象相關的功能非常依賴基於 深度神經網路 的後期處理，所謂ai晶片即內部架構是為了適用於運算神經網路資料而設計的特殊的運算核心，這就是為什麼華為這樣的大廠會將目標定為開發新一代手機Ai晶片。單一的為CPU搭配個GPU已經不能滿足優質的照片處理需求。

實際上去年華為和蘋果已經打響了手機ai晶片的戰爭，蘋果推出A11搭載在去年最新的iPhoneX上，同時將自己最新的處理器命名為A11 Bionic，主要就是因為其內建了人工智慧“神經引擎”。華為緊隨其後，高調推出麒麟970，制式10nm，效能為上一代960的兩倍，官方稱這款國產芯在CPU、GPU基礎上還搭載了一個強大嵌入式神經網路處理器NPU。

去年麒麟970釋出會

然而，這麼快的CPU，和使用者有什麼關係？這個問題留給華為在未來發揮。

實際上，拿13日蘋果釋出會相比麒麟980的問世，我發現了兩個有趣的現象：

一、華為7nm一出，周邊合作廠商的股價上漲

二、蘋果7nm一出，蘋果公司股價微跌（北京9月13日）

三、蘋果釋出第二天（北京9月14日），股價回漲

實際上，無論7nm還是14nm，手機真正能帶給使用者的：是 體驗；速度，只是體驗的一部分。

從影象處理到內嵌人工智慧模型的應用程式，蘋果最新iPhone系列產品都在嘗試容納最前沿的演算法技術，不僅是FaceID，iPhoneX系列常用原生功能都開始需要藉助A12強大的神經網路計算功能。在釋出之後App開發商也會進一步藉助A12的特性，設計出原先我們想象不到的應用程式。

蘋果目的時通過A12打造新開發者生態圈，原先只能通過雲端計算實現的運算量現在放到了新iPhoneX上做，實現了實時的智慧檢測，可以說實現了很多原先不可能的app功能。未來能夠做到出類拔萃的app開發商也會圍繞著這些運算進行。我們可以看到蘋果秉承這三條戰略：

徒有一個強大的“計算器”，沒有優質、互相推進的應用程式介面，麒麟系列980、970計算速度再快也沒有用。蘋果做的就是使用者-app開發商之間的生態系統，因為在這個平臺上，三者都有利可圖。

使用者通過前沿的app內建功能創作、體驗；開發商在appstore上收取費用；蘋果在背後提供硬體、系統支援。目前在華為推出新一代基於7nm智慧手機生態圈之前，除了快，使用者不會有任何值得驚歎的體驗。

所以蘋果秉承一貫作風，賣的不是硬體，而是演算法。

軟體，才是蘋果的高價值區。

也許，盯著蘋果硬體配置價格表，不會讓人有任何購買衝動。蘋果的戰略是讓人親身體會產品帶給人的感受。所以正像庫克在釋出會的一開始表示，蘋果自己是retail（零售）界的改革者，而不是手機界改革者。每年蘋果實體店擁有500milion的流量，由此可見一斑。

就在庫克結束了今年秋季產品釋出會之後幾分鐘，華為董事成員餘承東發微博：

為在未來將會推出對標蘋果什麼樣技術平臺，我們拭目以待，僅僅通過增大記憶體容量、CPU快一些已經不能滿足當今智慧手機市場了，也許這個市場還在教育階段，並不是所有需求都集中在Ai技術上。

也許蘋果iPhoneX是一個不可逆創新。什麼叫不可逆創新，即大家之前不覺得它有用，但用過之後都覺得它很有必要。所以，期待新一代iPhoneX在Ai智慧手機市場上的發揮。