蘋果並非晶片和AI公司,但它的晶片和AI真的令人驚豔
歡迎關注“創事記”的微信訂閱號:sinachuangshiji
文/光譜 杜晨
來源:矽星人(guixingren123)
蘋果在iPhone上體現的晶片設計和AI能力,給我留下的印象並非有多強,而是整合有多緊密和自然。
作為一個聚焦矽谷高新技術的公眾號,我們就不為你彙總蘋果的新iPhone長什麼樣,有什麼新功能了,相信你逛一下官網就能知曉。
但我為什麼推薦你看這篇文章:在今天朋友圈成千上萬條蘋果新品釋出會相關文章裡,相信沒有多少像這篇一樣,能為你劃出出本次釋出會上的真正重點。
廢話不多說,正文開始。
重點一:處理器
A12 Bionic處理器驅動著最新一代iPhone XS和XR,是蘋果秋季新品釋出會上的主角之一。
這場釋出會上有一大半篇幅都是蘋果對A12 Bionic(以下簡稱A12)的引數和能力大談特談。我甚至認為,這枚SoC對於蘋果的重要性要高於iPhone本身。
這塊晶片主要構成部分是CPU、GPU和一個神經網路協處理器NeuralEngine。CPU為6核;GPU為4核,效能比前代A11高了一半左右。
蘋果全球營銷高階副總裁菲利普·席勒(PhilSchiller)表示,A12是全世界計算行業的第一塊7奈米處理器。
這是一個足以令人震驚的表述。因為科技從業者可能知道,晶片工業的領頭羊主要就是英特爾、英偉達、AMD和高通等公司,而這些公司正在集體遇到天花板。
這個天花板就是摩爾定律。
摩爾定律來自英特爾的創辦者,形容了計算工業的一個常態現象:因為工藝的提升,處理器每隔一段時間的效能也會提升,而成本會下降。
然而在過去的幾年間,摩爾定律越來越難應驗了。以英特爾——全球絕大部分電腦處理器的製造商——為例,它的工藝革新的速度變得愈發緩慢,在10納米制程工藝上的進展緩慢,導致其所依賴的技術演進模式正在崩盤。
與電腦相對的是移動SoC。高通是這個領域的領導者,進展還不錯,最新一代驍龍845處理器採用10納米制程工藝,也已經進入了幾款最新的手機。然而高通遇到的問題是效能提升和工藝進步之間的線性關係正在緩慢消退,這也是高通在新一代處理器上主要突出平臺效應而非效能的原因。
而誰也沒有想到,在英特爾和高通跟摩爾定律纏鬥的同時,蘋果突然用去年的A11和今年的A12在晶片工業狠狠地刷了一下存在感。
席勒透露,在採用7納米制程工藝的A12處理器上,蘋果(和它的代工商臺積電一起)塞進了將近70億顆電晶體,讓A12成為了蘋果乃至整個移動晶片工業史上製造的最強大的手機處理器
——別忘了這家公司並不像高通那樣以晶片公司自居。
A12的6核處理器仍然採用自家的Fusion架構,分成2個高效能核心和4個低功耗核心,對處理前臺高資源和後臺待機任務進行分別處理,總體上實現了將近五成的功耗降低;4核圖形處理器較前代效能也有了很大提升。
不過蘋果在晶片上的真正大殺器,在於那塊NeuralEngine。
這是一塊FPGA(Field-ProgrammableGateArray現場可程式設計門陣列),一種自定義能力強適合定製化計算需求,在機器學習領域被廣泛採用的積體電路。
和A11的雙核相比,A12的NeuralEngine核數暴增到了8顆。它們存在是為了:
1)在本地處理神經網路任務,比如影象識別、物體追蹤、空間位置感應。
比如現場演示的籃球實時資料分析技術HomecourtShotscience,可以實時監測球員的位置、姿態,球出手時的高度、角度和時機等諸多資訊。
2)A12NeuralEngine的第二個重要任務是為CPU和GPU,以及在兩個單元的不同核心之間進行任務分配,實現更高效的任務處理,提高效能、降低功耗。
第二代NeuralEngine的存在,不僅體現了蘋果在晶片設計上的強大,更證明了一件事:為了在裝置上實現甚至創造新的使用者需求,讓iPhone比前一代更加盡善盡美,蘋果願意深入到晶片的層面。
而這和新iPhone的第二個重點有關。
重點二:人工智慧
整場釋出會給我留下深刻印象的點並不多,其中之一就是前面提到的籃球實時資料分析應用Homecourt。
科技從業者可能知道,人工智慧是硬體和軟體的結合。具體來想要有好的效果,不僅要有高效能的計算硬體,也要有強大的演算法和軟體支援。
搭配蘋果的CoreML深度學習框架,新一代iPhone每秒可以進行的神經網路計算超過5萬億次。這意味著在某些特定範疇內,最新一代iPhone已經超越了不久前業界頂尖的伺服器超級計算機。
當很多神經網路級別的任務可以在本地計算,無需聯網,最大的意義在於解鎖了很多新的使用場景。比如釋出會演示的新一代iPhone拍照的SmartHDR功能。
HDR拍照就是在按下快門時,相機會拍下多張不同曝光的照片,將它們拼在一起,使得從高光到暗影的每一處細節都呈現更清晰。iPhone XS和XR相機引入的SmartHDR功能,利用了這個邏輯,實現了更好的效果。
首先,按下快門時相機會自動拍下4張照片,利用NeuralEngine結合GPU的計算能力選取最好的一張。蘋果稱其為零快門延時(Zeroshutterlag)技術。
但過程並非如此簡單,再按下快門時,相機不僅留下了4幀,還在另一個曝光級別上拍攝了它們的複製幀,以保留高光細節:
以及另外一幀高曝光,留下暗處細節。此謂HDR:
最後,NeuralEngine會再次選取照片中質量最高的幾張,包括正片、高光、暗影,將其結合,從而實現SmartHDR效果:
最後得到的照片並不一定就和普通HDR或者HDR+照片高下立判。但需要明確的是,這些功能並非過去的手機拍照處理器/ISP可以實現的,而是需要NeuralEngine和CPU/GPU配合。
你可以說蘋果殺雞用牛刀,但至少在拍照這件事上他們是認真的。
同樣是在拍照上,新一代iPhone可以實現更好的背景虛化(Bokeh)效果。前代iPhoneX剛釋出時很多使用者發現人像模式效果並不好,原因在於並非雙攝像頭實現,而是單攝像頭+計算機模擬背景虛化。
席勒表示,蘋果相機工程師利用市面上頂級的相機和鏡頭所拍下的背景虛化效果,對iPhone相機、軟體以及A12NeuralEngine進行訓練,相信能夠取得更好的背景虛化效果——儘管這次仍然是計算機模擬的。
另一個例子是現場演示的多人同屏——不對,同空間聯機遊戲。這是一款增強現實3D射擊遊戲,幾個玩家各自操作手機,在同一個空間內射擊目標,最後比較比分。
這款遊戲利用了蘋果的ARKit2增強現實平臺,結合NeuralEngine驅動的影象識別和空間感知能力,至少在釋出會現場效果令人歎服。
看完整場釋出會,蘋果在iPhone XS/XR上體現的人工智慧軟硬體能力,給我留下的印象並不是它們有多強,而是在於它們整合的多麼緊密和自然。
因為究其根本,蘋果也不是一家人工智慧公司。它的業績保證需要銷售裝置來支援。而裝置給人帶來的體驗多完整,決定了裝置的使用者滿意度有多高。