華為麒麟980算力真實體驗！5個功能讓AI晶片小宇宙爆發
智東西（公眾號：zhidxcom）
文 | Kiva
在剛剛過去的9月和10月裡，隨著手機晶片AI化的兩個主流玩家新品的亮相，即華為麒麟980和蘋果的A12處理器的推出，手機端AI晶片2019年的競爭格局也隨之定下了基調。
智東西此前也曾探討過未來一段時間裡手機AI晶片競爭的五大典型趨勢（ ofollow,noindex" target="_blank">決定未來的手機AI晶片五大趨勢，華為蘋果率先起跑 ）。這五大趨勢分別為架構升級、工藝製程升級、系統層建設、應用生態、體驗進化，而圍繞這五大趨勢的AI晶片行業升級，將很大程度上影響未來智慧手機江湖市場格局。
而在智慧手機領域，隨著智慧手機廠商的競爭越來越激烈，智慧手機市場不僅拼外形、拼服務，更是拼上了AI、拍照等“新技術、硬科技”。這些技術的實現離不開晶片作為核心進行支援。於是，智慧手機之爭，也進一步演進到了晶片之爭。
說到AI晶片帶給智慧手機在體驗方面的升級，華為的新款AI晶片麒麟980已從上一代的在拍照中進行物體識別、場景識別，發展到針對視訊中人體姿態、動作進行實時AI分析。
近日，隨著麒麟980的首搭機型Mate 20系列正式發售，智東西也在第一時間拿到該產品。我們選擇了五個最能體現AI晶片能力的功能場景來探究，達到最新7nm技術標準的AI晶片，在突破手機應用極限方面的表現到底如何？
一、AI晶片前沿技術的嚐鮮者 ——麒麟980
晶片是智慧手機的大腦，在智慧手機工作的每時每刻都在不停地進行著計算。因此，晶片也決定著智慧手機的效能和應用的想象空間。
進入2018年下半年，手機端AI晶片也發展到了一個新的階段，7nm製程工藝落地、多核處理單元架構被華為、蘋果廣泛採用。麒麟980晶片作為這些最前沿技術的嚐鮮者，率先進行了落地。
雙核的升級也給麒麟980晶片的AI運算帶來了全面的提升，主要體現在視訊檢測、物體細節識別、物體分割這三方面上：原先單核NPU進行AI物體實時識別時只能認出輪廓，現在可以識別出畫面細節；原先只能實時處理影象，現在則可以做到實時視訊檢測和處理；原先在實現畫面實時物體分割時線條輪廓較為粗放，現在在雙核NPU的驅動下則能做到更精細。
晶片行業本就費時燒錢，7nm工業製程下整合69億電晶體更是對物理極限發起了挑戰。華為消費者業務CEO餘承東曾在麒麟980的釋出會上說，麒麟980晶片的研發費用高達數億美元(幾十億人民幣)。高昂的研發成本也成為了一堵高牆，將不少智慧手機廠商阻攔在外。
縱觀整個晶片行業，目前高階智慧手機晶片行業玩家並不多，只有蘋果、華為和高通三家。蘋果A12晶片已經搭載在新款iPhone上，華為的麒麟980也已經搭載在Mate 20系列上面世，高通的新一代7nm製程的AI晶片也將於今年年底正式亮相。
智慧手機晶片行業的運算力也在幾位頭部玩家的帶領下，正在衝擊新的高峰。在經歷了一輪口水大戰之後，對新一代7nm製程工藝的AI晶片效能的考驗則到了見真章的時候了。
二、麒麟980超高計算最藝術應用：AI視訊留色
AI視訊留色是華為智慧手機中新增的功能，其難點在於需要對視訊畫面進行實時識別和實時處理。不同於對圖片的處理，AI視訊留色需要對視訊進行實時處理，每秒需要處理幾十幀影象，對手機晶片運算能力是一個巨大的考驗。
AI留色這一功能實際上是隱藏在相機錄影模式下的。點選Mate 20 Pro相機進入錄影模式後，介面左側會出現一個魔法棒標誌，點選魔法棒後會出現多種特效模式，其中第一個就是AI色彩，也就是我們說的AI視訊留色功能。
從實際的體驗情況來看，隨著人物的移動，色彩資訊也會實時進行跟隨。除了對一個人物進行測試外，我們還進行了對多個人物識別畫面的測試。結果顯示，在多個人物出現時，相機會根據人物影象在整體畫面中的比例，優先對佔比大的人像進行處理。當兩個人物與鏡頭距離相當時，相機會對兩個人物都進行留色處理。
智東西從華為演算法工程師處瞭解到，這一功能需要分兩步實現，首先是對鏡頭內的人物進行實時識別和摳取人像，其次是而將背景部分黑白化。在NPU的加持之下，畫面將會呈現出如電影《Sin City》裡的鏡頭一般，營造出時空交疊般的錯覺感。
摳取人像和進行色彩保留並不是這項應用的難點，而要做到精準的實時識別並同時進行處理則最為考驗硬體能力。麒麟980在執行人體分割的演算法時，可以做到每秒30幀的處理速度，能夠對視訊進行實時精準摳圖。同時，由於運算是在麒麟980晶片上執行的，即使在斷網狀態下該功能仍可以執行。
AI視訊留色功能使用的是華為自研的人體檢測和識別的AI演算法。據華為軟體工程師介紹說，該演算法通過了對5000部電影，多達十幾萬張影檢視像的模型訓練過程。在麒麟980雙核NPU、更高精度的深度網路的加持下，最終呈現出了Mate 20 Pro中的大片般的特效。
與此同時，AI視訊留色這一功能，也成為了麒麟980晶片彰顯超高計算力的典型代表，併成為華為手機中最具藝術性的內建AI應用。
三、麒麟980超高計算最新奇應用：卡路里識別
在麒麟970的加持下，華為智慧手機已經可以做到對物體的識別，而在麒麟980的加持下，新一代的華為旗艦機在對基本物體識別的基礎上又增加了卡路里識別的功能。
開啟相機，在拍照模式下，介面的左上角會出現“慧眼”標誌。這個“慧眼”是華為手機智慧識屏的入口，其中包括掃碼、翻譯、購物和識物四個功能。卡路里識別這個功能就隱藏在“慧眼”識物這一功能下。不過，“慧眼”需要在網路連線下進行，無法在本地進行識別的物體將被匯入到第三方應用中進行查詢。
在識物模式下，你只需要將食物放置在鏡頭中，短短1秒中內，手機就能夠自動識別食物的品類，並估計出重量和卡路里數量。儘管這項應用聽起來非常有趣，但想要做到即用即查、並以AR形式實時顯示則對晶片的效能要求非常高。
從實際體驗上看，如果對同一個食物以不同的面進行掃描，其對重量的估計會有差異。與真實資料相比，卡路里識別這項功能與物體真實重量之間有一定差距。但從體驗的速度來看，在麒麟980的加持下，華為手機可以在1秒內完成對食物卡路里的識別。
據華為相關演算法工程師說，卡路里識別過程其實是分為兩步的：首先是對物體的識別，在這個過程中需要同步調出食物的卡路里庫，包含的資訊是以g為單位的該食物的卡路里數量；然後再進行體積估計，同時利用AR技術將結果標籤與畫面進行合成。
這位工程師還介紹說，目前基於麒麟980華為手機已經可以實現對100多種食物進行卡路里識別，能夠覆蓋大部分的水果，甚至是魚香肉絲類的普通家常菜。
四、麒麟980超高計算最安全應用：3D結構光解鎖
如今，智慧手機成為人們形影不離的儲存裝置，它不僅包含著各種檔案、聯絡人資訊，還儲存著各種銀行賬號、支付密碼、地理資訊，關乎著人們的財產和人身安全。與此同時，智慧手機的保密性和安全性也越來越重要。人們也在追求更為安全的解鎖方式，而當下被認為最安全的就是生物資訊解鎖，以3D結構光解鎖最為典型。
在麒麟980晶片的加持下，新一代的華為旗艦機搭載了華為自研的3D結構光技術，據稱人臉解鎖的速度小於0.6秒。
在利用3D結構光進行人臉解鎖之前，需要錄入人臉的資料資訊。使用者需要拿著手機向著上下左右等8個角度轉頭進行資料採集，系統會生成使用者的人臉資料模型作為樣本，用於每一次解鎖的資料比對。在實際體驗中，搭載了麒麟980晶片的華為新旗艦機可以做到抬手亮屏，在1秒內就可以實現解鎖。
筆者實際使用後的感受是，在麒麟980的加持下，華為新旗艦的人臉解鎖速度，比上一代Mate 10中的2D人臉解鎖更快。不過，為了保障點陣器將光斑精準地投射到面部，使用者在使用時需要將面部和手機之間保持一定距離。
智東西在與華為軟體工程師的交流中得知，在進行人臉識別和解鎖時，手機劉海屏內搭載的點陣投影器會向人臉投射出超過3萬個面部資訊點，並用這些資料給使用者的面部繪製一個精細萬張的3D面部模型。在每一次解鎖時，處理器都需要對這3萬個點攜帶的資料資訊進行計算和比對。需要執行識別人臉的特徵的演算法，由於對計算力要求較高，這一演算法必須跑在NPU上。
由此看來，每一次3D人臉解鎖的過程，對智慧手機晶片都是一次運算力的大考驗。而在應用上，麒麟980也賦予3D結構光更多的應用場景，在Mate 20 Pro上還有3D智慧美顏、3D Qmoji表情、3D建模等諸多應用。
五、麒麟980超高計算最實用應用：個性化景深控制
影象處理是當下AI技術的發源應用，在智慧手機中，拍照、處理圖片成為最典型同時也是最豐富的應用。在AI晶片的加持下，場景識別、物體識別等多種拍照應用已經成為了智慧手機的標配。
景深控制是在在攝影藝術中非常常見的一種形式，它的基本原理是：在景深範圍內景物影響的清晰度是不完全一致的，焦點的清晰度最高。而對於相機來說改變焦點的位置，才能呈現不同的景深程度。
而在麒麟980的加持下，華為新一代的旗艦機則能支援個性化景深控制（Bokeh），可以使使用者自主調節背景的虛化程度。這一功能的實現並非需要重新調整手機焦距重新進行拍照，而是在麒麟980上通過執行特定的AI演算法進行實現的，其與傳統相機的區別則可總結為“先拍照後對焦”。
景深控制位於Mate 20相機中人像模式下，啟動開關位於介面左側，Logo看起來像是個星星，其中提供的景深模式包括圓形、心形、旋焦和魚鱗四種景深模式。值得一提的是，景深控制還可以配合人像模式下的影棚光、炫彩、窗影、波普光、劇場光五種光效以及最高10級的美顏功能一起使用。
從實際體驗來看，在麒麟980的加持下，特殊景深控制、特殊光效和美顏功能都可以一起實現。不過，在對人像摳圖的邊緣處理上有些瑕疵，但相比於大部分的影象處理軟體來說，效果還是非常好的。
在與華為軟體工程師的交流中，智東西瞭解到，景深控制的原理主要是對影象背景虛化的控制，運用的也是物體識別與分割演算法。首先需要分割出人體的區域，然後再呼叫虛化和模糊包模版，對背景進行虛化。而這種演算法對運算力的要求非常高，必須在NPU上才能進行。
因此，在麒麟980的高運算力加持下，個性化的景深控制等以往需要長時間修圖處理才能獲得的藝術感已經能讓人們在分秒之間輕鬆獲得。
六、麒麟980超高計算最刺激應用：GPU Turbo 2.0
從2005年休閒類遊戲開始興起，到2016年下半年手遊市場爆紅，遊戲品質和市場規模一直在快速攀升，更是出現了多款現象級火爆手遊，如《王者榮耀》和《絕地求生》。加之AR/VR技術的出現，對移動端的影象處理需求也呈現井噴狀態。但另一方面，移動終端GPU效能的提升速度較慢也愈加明顯。
今年6月，華為推出了軟硬體結合的影象處理加速技術——GPU Turbo，通過協調硬體、系統和應用三個層面，加速手機的影象處理，為整個智慧手機行業影象處理加速帶來了全新的思考方向。
GPU Turbo技術打通了EMUI作業系統以及GPU和CPU之間的處理瓶頸，在系統底層對傳統的圖形處理框架進行了重構，實現了軟硬體協同，使得GPU圖形運算整體效率得到大幅提升，畫質、效能提升的同時，能耗下降，打破了效能與能耗的蹺蹺板。
隨著麒麟980的面世，華為全新的EMUI 9.0系統也正式亮相，其中將GPU Turbo技術升級為2.0版本。藉助GPU Turbo 2.0全面提升的影象處理效率和AI調頻排程的加持，Mate 20系列發揮了麒麟980處理器的效能特色，將遊戲、視訊中的影象延遲優化降低36%，由95毫秒降到60毫秒)，從而保持持續穩定的高達60幀率的遊戲體驗。
從實際體驗來看，在麒麟980硬體和EMUI 9.0系統的加持下，GPU Turbo 2.0在荒野行動中不卡頓，非常流暢。在類似《荒野行動》這種手遊中，整個過程中都保持了不錯的遊戲體驗。
當下以智慧手機承載的手遊、視訊等娛樂活動成為了人們日常娛樂生活中不可或缺的一部分，人們對遊戲畫面、執行速度的要求也越來越高。在GPU Turbo 2.0與麒麟980完美的配合下，華為智慧手機也給使用者帶來了流暢到爽的遊戲體驗。
結語：新一代AI晶片帶來智慧手機跨越式AI體驗
進入2018年，整個智慧手機AI晶片產業鏈都被聯動起來，除華為、蘋果兩個同步玩家競相追逐外，三星、高通、聯發科等都在湧入激烈的市場競爭中。
與此同時，智慧手機AI晶片也正呈現出新的發展態勢，7nm製程工藝、多核處理單元、專用處理模組等新的技術和生產模式，正在不斷築高手機AI晶片產業的壁壘。
另一方面，隨著搭載新一代AI晶片的旗艦機的落地和發售，AI晶片給智慧手機的AI體驗也帶來了跨越式進展。
從只能對影象進行處理到對視訊進行實時處理，從場景識別拍照到個性化的景深控制，再到對3D結構光人臉解鎖和食物卡路里識別，麒麟980晶片再飛速提升智慧手機運算力的過程中，也將更多以前無法想象的有趣、有用的功能帶給了使用者。
而在AI晶片提升智慧手機體驗的同時，智慧手機行業的技術競爭也正進一步加劇。其中，如華為這樣擁有晶片等核心技術能力的廠商，正在引領著這場競爭的技術風向。