偶遇白宮首席攝影師，他這樣評價 iPhone XS 的拍照效果
編者按：蘋果為最新的成像系統傾注了頗多心血，需要硬體、軟體、神經引擎和數以萬億計的處理器計算，才能生成與單反效果相當的照片。本文為編譯文章，作者 ofollow,noindex" target="_blank">Lance Ulanoff ，原文標題 Inside Apple’s iPhone XS Camera Technology 。
除特別說明外，所有照片均為Pete Souza（白宮首席攝影師）拍攝
就在蘋果釋出了一大堆新款iPhone和令人印象深刻的拍照功能後幾分鐘，我偶然發現著名攝影師Pete Souza在蘋果公園遊客中心外面。
看到他身邊沒有粉絲簇擁著，我還真有點詫異。我是相當欣賞Souza的攝影技巧和智慧的，見到他隻身一人，我決定試探性地接近這位曾為兩位總統——羅納德•里根（Ronald Reagan）和巴拉克•奧巴馬（Barack Obama）——任上拍過照的人。
“對不起，請問你是Pete Souza嗎？”
Souza正盯著他的iPhone，想弄清楚Lyft司機在哪兒接他。他抬頭看了看，在午後明媚的陽光下眯著眼睛說：“是的。”
Souza後來在電話中告訴我，他是被蘋果公司邀請參加iPhone XS釋出會的，但不知道釋出會內容。“我想，管他呢，我還是去吧，”他說。
在遊客中心外，Souza和我開始就蘋果公司推出的iPhone XS、XS Max和XR的新拍照功能交換意見。
iPhone XS、XS Max的雙攝像頭與iPhone X的配置基本相同：雙1200萬畫素攝像頭垂直排列，主鏡頭為F/1.8的廣角鏡頭，副鏡頭為F/2.4的長焦鏡頭；還有一顆 700 萬畫素 前置原深感攝像頭。 但這些配置都基於新的影象感測器、鏡頭和全新的影象訊號處理器——所有這些，都是全新A12仿生晶片組的一部分。
和我一樣，Souza也對最新的人像模式感到驚訝，這種功能可以讓你在拍照後，無論是前置還是後置攝像頭，都能調整焦外成像效果（即背景虛化）。他告訴我，他認為消費者不會注意到介面上的光圈數。
蘋果居然會在深度編輯中加入光圈數
後來，在電話裡，Souza說:“我想大家可能會用它，但不可能真正理解。”他補充道，消費者會在使用中理解其結果。
蘋果全球營銷高階副總裁Phil Schiller在被我問及為何決定在深度編輯介面中加入光圈數時表示:“我喜歡這個決定，這是團隊上下對攝影藝術表示的一份尊敬。”
消費者在手機和照片編輯app中看到的數字，將不僅僅是老式的、單反相機式的光圈調節，Schiller告訴我，蘋果設計了一個精確的模型來模擬光圈數下物理鏡頭的行為。
注意背景虛化
在物理相機中，較大的光圈係數表示較小的進光量，也就意味著較小的景深。換句話說，F/1.4光圈會把焦聚在人臉部，而模糊掉背景。F/16光圈則幾乎沒有景深。
最早能拍攝出這種照片的智慧手機出現在2016年，當時iPhone 7 Plus的人像模式利用其雙鏡頭系統捕捉到的兩張照片，創造出一種背景虛化的效果。對於iPhone業餘攝影師來說，這本身就是一項突破性的創新，它將普通的人像照片轉換成高畫質的工作室照片，使前景物體清晰並模糊了後景。
精益求精
新的iPhone XS和XS Max功能更為強大。蘋果軟體副總裁Marineau-Mes解釋說：“我們把透鏡模型轉化成數學模型，並將其應用到影象上。除了我們沒人做這件事兒，其他人只是想辦法模糊背景。無論你是用iPhone XS的700萬畫素前置攝像頭自拍，還是用iPhone XS或XS Max雙鏡頭系統拍照，還是用iPhone XR的1200萬畫素後置攝像頭拍照，處理效果都相當不錯。
使用iPhone XS Max拍攝
蘋果的深度編輯更加引人注目，在傳統和單反攝影中，光圈的每一次調整都必須與曝光設定的相關調整相適應，而如今，蘋果可以做到讓你在不接觸曝光的情況下調整拍攝後的光圈。
Souza在華盛頓特區的自然歷史博物館試過iPhone XS。當他對博物館的早期人類頭顱進行拍攝時——通過玻璃進行拍攝——結果令人印象深刻。他告訴我說我說，深度編輯功能“非常好，非常好”。
“我會把它和我用的佳能相提並論，效果真的棒極了。”他補充說。
Souza是iPhone的粉絲，除了早年的翻蓋機之外，從沒用過其他品牌的手機。他表示自己在拍攝奧巴馬雖然幾乎總是用單反相機，但他總是用iPhone拍攝更隨意的照片。他說:“我拍了幾百張雪景，沒有拍人，都是用iPhone拍的。”
顯然，專業攝影師知道智慧手機攝影的侷限性。即使有了多鏡頭、遠攝功能和後處理功能，也很難取代35mm全畫幅感測器和55mm的鏡頭。
使用iPhone XS Max拍攝，無濾鏡，無修圖
但這並沒有阻止蘋果的努力。蘋果公司多管齊下，力圖讓數以百萬計的使用者都能擁有專業水平的攝影能力。
“我們不像一家硬體公司，也不像軟體公司，而是一家系統公司，”蘋果相機硬體高階總監Townsend說，並強調了蘋果在眾多消費電子產品領域取得成功的標誌：從設計到開發，從硬體到軟體，幾乎所有的事情都可以掌控，“我們有能力設計所有的東西。”
使用iPhone XS Max前置攝像頭拍攝
協同與創新
蘋果之所以能做到這一點——尤其是在成像這樣複雜的系統中——部分原因在於，執行良好的元件並不總是能夠很好地協同工作，而蘋果對第三方合作伙伴定製零部件的偏好是眾所周知的，但它還不止於此。 如果合作夥伴表示自己無法達到蘋果的要求，蘋果就會聘請相機制造工藝的專家。 而且蘋果的硬體和軟體團隊一直定期開會，就是為了保證 iPhone XS等新硬體能有過硬的攝像功能。
“我們的要求不是一般的高，” Schiller笑著說。
事實證明，這種跨部門的協調對Smart HDR——蘋果影象處理皇冠上的又一顆寶石——的開發至關重要。
在傳統的HDR中，曝光不同的兩張影象分辨用來在暗區和亮區捕捉細節。即使在最好的HDR影象中，也會有一些細節（或者很多）丟失，或者最終合併的影象效果大打折扣，尤其是在動作照片中。此外，HDR可能會帶來一些快門延遲，這意味著運動攝影幾乎是不可能的。
在我用iPhone XS和XS Max進行的測試中，Smart HDR在具有挑戰性的情況下拍出了高質量的影象。
Phil Schiller在釋出會
圖片來源：Justin Sullivan/Getty
正如Schiller在演講中所說的，每一張照片都有數萬億次的運算，使得這一切成為可能，主要靠的還是ISP和它的高處理能力。
Marineau-Mes向我解釋道，相機在三十分之一秒內，在不同的曝光條件下捕捉一對影象。這些資訊被傳到A12的引擎中，後者迅速開始分析影象。
Smart HDR不會就此止步。Marineau-Mes說：“一切都是在幾百毫秒內發生的。”
在A12晶片內部有一個引擎，它不僅可以分析影象的曝光，還可以分析離散的影象元素，也可以識別面部特徵。如果系統檢測到運動，它會查詢具有運動最清晰影象的那一幀畫面，並將其新增到影象中。
當天早些時候，蘋果公司給我看了一張照片，照片上是一個人站在湖裡。他背光，只能看到剪影。他在甩頭髮，水花四濺，飛向空中。如果我想用單反相機拍出這麼一張照片，快門速度至少要設定到500fps，然後把光圈稍稍調小保持一些景深，還要提高ISO來加大進光量，這可能會形成很多顆粒。
蘋果公司的樣張
然而，這張照片是用iPhone x拍攝的。
“我們設定了一個參考幀，並融合了來自多個幀的資訊，”Marineau-Mes說。我看到的影象是多幀合成的。其中一些幀包含了最終影象的片段，比如完美的頭髮和水。
他解釋說：“如果你有一大堆差不多的影象時，你可以把它們逐漸疊加起來，慢慢就會得到效果越來越棒、細節越來越好的照片了。”
Marineau-Mes說，要想獲得這樣的效果，就需要非常強大的影象訊號處理器和神經網路引擎，以及一個能夠保證進行所有這些處理功能的強大GPU和CPU。
在你按下iPhone相機應用程式的虛擬快門按鈕之前，所有這些繁重的工作就開始了。Schiller說，使用者在iPhone XS、XS Max和XR螢幕上看到的與最終影象沒有太大區別。
當我問道收集這麼多資訊對最終照片的大小意味著什麼時，他們告訴我，蘋果的HEIF格式會提供更高的圖片質量，但檔案大小會更小。
有時，蘋果公司的工程師們幾乎是偶然地獲得了更好的影象技術。去年，蘋果公司推出了“閃爍檢測”（flicker detection），它可以尋找光源重新整理頻率，並試圖減少靜態和視訊影象中的閃爍。Townsend說，雖然白熾燈和熒光燈的重新整理頻率是一致的——這使得計算曝光時間變得很容易，但是現代的節能燈可以在所有不同的頻率下工作，尤其是那些改變顏色的頻率。
今年，蘋果工程師擴大了識別頻率範圍，進一步減少了閃爍。然而，在這樣做的同時，他們意識到現在也可以立即識別出太陽在照片中的位置（湯森指出，“太陽不會閃爍”），並立即調整自然光線的白平衡。
“我們的工程師們正在研究這個，他們發現了額外的資訊。所以，這是我們從閃爍檢測中得到的好處，”Townsend說。
視訊和未來
所有這些影象捕捉努力也延伸到了視訊領域， 在拍攝中，系統會對每一幀進行分析，輸出高光和暗部細節更優的視訊。
我突然想到，如此集思廣益之下，蘋果可能會把深度編輯器應用到視訊上。但當我問Schiller這個問題時，他只會說，蘋果不會對未來的計劃發表評論。
無論是視訊還是照片，最終的結果都是蘋果，或許還有智慧手機相機攝影的一個新高潮。Townsend告訴我說，公司收到了電子郵件，人們表示“不敢相信能拍出這樣的照片。”
Townsend說：“我們為生活在真實中的人制作相機。他們希望自己的照片是一幅美麗的畫，僅此而已。”
Pete Souza和我
Souza的作品《Shade》講述了奧巴馬和特朗普政府之間的拍照對比，該書將於今年10月開始發售。“我一直都驚訝於用iPhone你能離你的拍攝物件多麼近。就最小對焦距離而言，iPhone比單反要好，除非你隨身帶著單反的微距鏡頭。”
那天早上，Souza列印了兩張他用iPhone X拍攝的照片。他說他認為這兩張照片看起來像是用單反拍出來的。
我問了Souza最後一個問題：如果未來哪個總統繼續欽定他來拍照，他是會用iPhone拍官方照片，還是繼續用單反拍？
“單反，”他回覆我說——也許打破了蘋果公司的期待，“不過我還是會跟過去一樣，在Instagram上發一些用iPhone拍的照片。”
從單反換到iPhone，再從iPhone換到單反，蘋果公司也一定不希望看到Souza和其他攝影師總是這麼手忙腳亂。
編譯組出品，編輯：郝鵬程