Facebook Surround 360是Facebook2016年7月釋出的開源360°三維全景視訊拍攝系統，主要功能是為VR拍攝3D全景視訊素材。它長這個樣子：

看起來酷炫的很，當然功能也很強大，後面會介紹。介紹surround360之前先看一下該領域中其他公司做的相關產品吧

領域動態

Google +GoPro

Google與運動相機制造商GoPro合作推出了Odyssey，一個由16個相機組成的價值15000美元的3D360°全景拍攝裝置，如下

後來GoPro又推出了一個相對簡易的由6個相機組成的2D360°全景Omni：

Nokia

Nokia也推出了一個像足球一樣的具有8個相機的2D360°專業VR攝錄機Ozo：

VideoStitch

VideoStitch推出了一個具有4個相機的2D360°全景相機ORAH 4i：

此外，還有不少公司推出了由兩個背靠背式魚眼相機組成的2D360°全景相機，比如：

Sumsung

三星2016年也推出了消費者版的2D360°全景gear 360相機：

Ricoh

日本理光公司也推出了像遙控器一樣的2D360°全景相機thetaS：

除此之外，還有LG等公司也有相應的產品，在此就列舉了。
注意以上的產品，只有Surround360和Odyssey可以實現3D360°全景視訊，其他的產品都是2D360°全景的。價格相差很大，具體到引數細節也都有不少差別，可以從他們的產品官網上做個比較。

Surround360簡介

主要特點：

1. GitHub上開源相機硬體設計方案及對應的影象拼接原始碼，開發者和內容生產商都可以免費使用，加速3D 360°生態系統發展。
2. 計算左右眼的立體視差是基於Optical flow的演算法，演算法可以自動拼接生成360°三維立體全景視訊。拼接演算法相對於傳統的人工方法，極大減少了後處理時間，效率大大提高，執行時間從幾個星期縮短到一天。
3. 可輸出每隻眼睛高達4K，6K，或8K的解析度。雙倍8K的輸出可以利用Facebook自己的動態流輸出技術在Gear VR裝置上播放。

VR拍攝系統的挑戰

目前比較主流的是單視場360°全景，通常使用兩個或者更多的相機來獲得360°的全景，但是這些全景圖看起來比較“扁平”，沒有三維立體感。如果想要獲得3D-360全景視訊就沒那麼容易了，因為相對於單視角全景視訊，3D-360視訊需要深度資訊。Surround360用兩個相機（相當於左右眼）拍攝同一位置來獲得深度，這就意味著，必須使用10~20個相機對周圍360°內的每個方向都進行立體拍攝，並且所有相機必須嚴格地全域性同步地進行每秒30~60幀的拍攝。最後，需要融合（拼接）所有的相機拍攝的圖片成為一張無縫全景圖，而且必須進行兩次操作：第一次產生左眼的虛擬位置、第二次產生右眼的虛擬位置。

VR拍攝系統

Surround360的VR拍攝系統包含三個部分：

1. 硬體（相機和對相機進行控制的計算機）

1) 所有相機必須具有全域性同步功能。每個相機的每一幀和其他相機的同一時間的對應視訊的時間差別必須小於一毫秒。如果不能達到同步要求，很難把他們拼接成為一張清晰一致的圖片。
2) 每個相機必須具有全域性快門。同一時間所有畫素必須對應同一場景。如果做不到全域性快門，快速移動的物體會在對角線方向變的模糊。
3) 相機必須能夠連續可靠地執行幾個小時而不過熱；相機和固定相機的機架必須穩固連線，保證在長時間的使用過程中不會產生錯位；相機機架設計製作必須簡單，方便複製、修理、替換元件。
4) 為了滿足上述嚴苛的條件，Facebook採用工業級的Point Gray相機：具備全域性快門，執行很長時間不會過熱。每個相機用螺栓牢固地連結到鋁製底盤，外殼是帶有塗層的鋼結構，可以很好地保護相機內部的部件。

2. 相機控制軟體（用於同步）

1) Facebook使用了基於Linux的具有足夠系統頻寬的PC從相機裡傳輸實時的視訊流到硬碟。相機同步要求實時的執行緒來保證能夠獲取所有的幀且不會丟幀。假設視訊為30Hz(每秒30幀)，則需要17 Gb / s的穩定的傳輸速率。Surround360使用了8路5級SSD RAID磁碟系統進行儲存，可以支援幾個小時的連續拍攝。
2) 為了保證相機在拍攝360°的視訊內容時不受操作人員的影響，Surround360採用了一個簡單web介面來遠端控制相機的拍攝，這使得任何支援HTML瀏覽器的裝置均可控制相機。
3) 以每個相機為基礎的定製的影象獲取軟體可以對每個攝像頭的曝光，快門速度，模擬感測器增益、幀率進行控制。相機由同一軟體進行控制實現全域性同步。為保證影象渲染階段的影象質量，實際處理的資料為Bayer格式的RAW資料。

3. 影象拼接及渲染軟體

影象拼接演算法是整個系統的中樞，也是系統中最具有挑戰的部分。由於拼接處理產生最終的視訊影象，因此這部分的影象處理和成像計算極為重要。必須在計算的每個步驟確保畫素質量。任何一步影象質量受損之後，就不可能挽回了。這樣的情況重複幾次之後，影象質量就會完全不可接受。
影象資料處理分以下幾個步驟：
1). 轉換RAW Bayer資料到伽馬校正後的RGB。主要包括：攝像頭之間的顏色校準、暗角消除、Gamma和色調曲線、銳化（逆向卷積）、去馬賽克影象復原。
2). 相機內參校正，用於去除鏡頭畸變並將影象重投影到極座標系。
3). 通過光束平差之後相機之間的外部引數校正來補償攝像頭之間的方向偏差。
4). 對每對相鄰的攝像頭進行光流計算，用於計算左右眼之間的立體視差。
5). 基於光流的左眼和右眼檢視，分別合成虛擬相機每個視角方位的新檢視。
6). 最終合成左眼和右眼畫素。
Surround360拼接演算法關鍵的一個概念就是光流，和其他拼接演算法相比，使用光流在數學上麻煩一些，但是可以產生更好的效果。利用光流可以計算相機左右眼的立體視差，從而分別為左右眼合成新檢視。然後，把頂上和底下的相機融入側面相機， 類似地用兩張圖之間的光流來匹配對應同一個畫素點在兩張圖中的位置。光流法實際是一個不適定逆問題，其不適定性源於由遮擋引起的歧義：一個相機不可能看到相鄰相機看到的。儘管通過構建多個相機和時變捕獲可以減輕這個問題，但這仍然是一個很困難的問題。Surround360用光流法來產生左右眼視差，從而自動生成無縫的360°全景圖，這節省了大量的後處理時間。

4.播放

Surround360可輸出每隻眼睛高達4K，6K，8K的解析度。由於高頻寬和資料量的要求，6k,8k的輸出需要利用Facebook Gear VR的動態流編碼技術，該技術是工業標準的2倍。輸出檔案可以在像Oculus Rift 和 Gear VR這樣的VR裝置上播放。

存在的問題

1) 光流場視角、光學感測器解析度、相機排列方式、相機數目等這些因素的不同組合在工業設計上是一個非常複雜的問題。更多的相機數目可以降低拼接難度，但同時也增加了需要處理和傳輸的大量資料。同樣的，增加影象的解析度提供了最終渲染的圖片質量但是也帶來了了大量的資料和佔用頻寬的代價。
2) 光學方面，增加相機的視場角可以減少相機的數目，降低拼接的影象數目，不過是以降低空間解析度為代價。廣角鏡頭也對後焦距和角度錯位更加敏感。

參考資料