上一篇部落格中介紹了從拍攝影象到獲取視差圖以及深度圖的過程，現在開始介紹利用視差圖或者深度圖進行虛擬視點的合成。虛擬視點合成是指利用已知的參考相機拍攝的影象合成出參考相機之間的虛擬相機位置拍攝的影象，能夠獲取更多視角下的圖片，在VR中應用前景很大。

　　視差圖可以轉換為深度圖，深度圖也可以轉換為視差圖。視差圖反映的是同一個三維空間點在左、右兩個相機上成像的差異，而深度圖能夠直接反映出三維空間點距離攝像機的距離，所以深度圖相較於視差圖在三維測量上更加直觀和方便。

• 利用視差圖合成虛擬視點
• 利用深度圖合成虛擬視點

一、利用視差圖合成虛擬視點

　　由於視差圖反映的是三維空間點在左、右兩個相機上成像的差異，並且由於提前進行了立體校正，這種差異就反映在影象的同一行上。在立體匹配的SGBM演算法中就是以其中某一副為參考影象，在另一幅影象的同一行上搜索匹配點。因此在合成虛擬視點時也只需在同一行上平移虛擬攝像機位置即可。流程如下：

　　（1）. 假設視差圖中某一個畫素點的視差值為dmax，也就是說從左攝像機camL到右攝像機camR之間，該畫素點的視差值變化範圍為0~dmax。為了方便介紹我將其歸一化到alpha取值範圍為0~1。

　　（2）.那麼如果我要獲取alpha=0.5位置時候虛擬相機位置的影象呢，那麼此時該畫素點和左影象匹配點的座標差異就是0.5 * dmax，和右影象匹配點的座標差異也是0.5 * dmax；如果alpha=0.3，那麼此時該畫素點和左影象匹配點的座標差異就是0.3 * dmax，和右影象匹配點的座標差異也是0.7 * dmax；

　　（3）.根據上面提到的原理，顯而易見，合成新視點時候只需要將左影象的畫素點位置向右移動alpha *dmax，或者右影象的畫素點向左移動(1-alpha)*dmax，就可以得到alpha位置處虛擬相機拍攝的虛擬視點影象。

　　合成虛擬檢視即可以利用左參考影象和對應的左視差圖，也可以利用右參考影象和對應的右視差圖，更好的是都利用上得到兩幅虛擬視點影象，然後做影象融合，比如基於距離的線性融合等。

　　在演算法的實現中，又有兩種選擇，一個是正向對映，一個是反向對映（逆向對映）。

　　1.正向對映

　　① 將原參考影象中整數畫素點根據其對應上視差值平移到新檢視上。

　　② 平移後像素點座標可能不是整數，為了獲取整數座標，採用最近鄰插值，將原影象畫素值賦值到新座標位置。

　　③ 由於最近鄰插值會損失精度，因此在物體的邊緣會出現鋸齒效應。

　　2.反向對映

　　① 利用參考視點的視差圖dispL，算出虛擬視點位置的視差圖dispV;

　　② 由於遮擋等因素影響，dispV肯定會出現空洞和裂紋，所以需要做一個空洞填充holeFilling；

　　③ 利用dispV將虛擬視點影象中的整數座標平移到參考視點位置下的座標，此時也可能不是整數，而是浮點數座標。這就面臨一個從哪裡取值的問題。

　　④ 取參考視點影象浮點數座標附近4個點的畫素值，用雙線性插值算出對應虛擬視點影象位置處的畫素值即可。

　　⑤ 由於雙線性插值屬於一種加權平均的思想，能夠有效避免精度損失造成的鋸齒現象，但是演算法複雜度要高。

　　下面給出利用左視點影象和對應視差圖獲取虛擬視點位置影象的效果(反向對映+雙線性插值)：

　　　　不進行空洞填充

空洞填充

二、利用深度圖合成虛擬視點

　　和利用視差圖合成新視點一樣，利用深度圖合成新視點也有兩種選擇：1. 正向對映  2. 反向對映。由於正向對映比較簡單並且效果不理想，因此目前大多采用反向對映方法。

　　已知內參矩陣K，下面仍然以左影象imgL和depthL為參考影象，獲取alpha=0.5位置處的虛擬視點影象，簡要步驟如下：

　　（1）. 利用內參矩陣K， 將depthL對映到三維空間點，平移到虛擬相機座標下後，重投影到虛擬視點影象平面，得到虛擬視點位置處的深度圖depthV；

　　（2）. 對depthV進行空洞填充；

　　（3）. 利用內參矩陣K和深度圖depthV，將虛擬視點影象imgV上的座標點反向投影到三維空間點，平移後再重投影到參考影象imgL上， 在imgL上利用雙線性插值獲取imgV上的畫素值。

　　具體流程如下：

　　（1）. 利用內參矩陣K，以及參考深度圖depthL，如下圖，將參考影象座標點(u, v)投影到參考相機的攝像機座標系下，得到對應的三維空間點(X, Y, Z)，計算方法如下：

d * u =  fx * X + cx *Z
d * v = fy * Y + cy * Z
d = Z

　　其中d是深度值，fx, fy, cx, cy均從內參矩陣中得到，那麼(X, Y, Z)可以表示如下：

X = ( u - cx ) * d / fx
Y = ( v - cy ) * d / fy
Z = d

　　參考深度圖depthL                                                                            參考左影象imgL

　　（2）. 將三維點(X, Y, Z)平移到虛擬攝像機座標系下，得到虛擬攝像機座標系下的三維點(X1, Y1, Z1)， 計算如下：

X1 = X - alpha * baseline
Y1 = Y
Z1 = Z

　　（3）. 將(X1, Y1, Z1)重投影到虛擬視點圖上，得到座標(u1, v1)：

u1 = ( fx * X1 + cx * d ) / d
v1 = ( fy * Y1 + cy * d ) / d
d = Z1
//注意此處d ！= 0

　　利用最近鄰插值得到虛擬視點深度圖depthV。如下圖所示，alpha=0.5位置虛擬視點深度圖：

　　（4）. 對depthV進行空洞填充。填充後depthV如下圖：

　　（5）. 利用depthV和內參矩陣K，反向重複上述操作。將虛擬視點影象imgV座標點反向投影到三維點，平移，再重投影到參考檢視imgL上，在imgL上利用雙線性插值得到imgV上的畫素值。從而獲取虛擬視點影象imgV，如下圖：

　　（6）. 綜合上述步驟，可以獲取alpha從0 到 1， 也就是從左相機位置到右相機位置的一系列虛擬視點影象，gif動圖展示如下：

　上面效果中在深度不連續區域有較為明顯的失真，這是由於該區域為遮擋區域，無法計算出準確的視差值，可以通過觀察前面立體匹配部落格的視差圖或者深度圖看出。而採用的空洞填充將附近的視差值填充過去，所以會造成前景出現在背景部分，出現較為明顯的偽影。去除偽影也有很多種方法，比如結合右參考相機合成同樣位置的虛擬視點，然後將兩個視點融合等方法。

　　其實3D Warping技術的核心就是下面幾條語句，二維影象點到三維空間點，平移，旋轉，再重投影到新的二維影象點。上面沒有加入旋轉，旋轉的話就是直接用三維點乘以3x3的旋轉矩陣後平移，然後再重投影。

float dep = pDepthV[i*imgW + j];
if (dep < 0.001) continue;
//反投影
float X = (j - cx)*dep / fx;
float Y = (i - cy)*dep / fy;
float Z = dep;
//平移
float X2 = X + offsetX;
float Y2 = Y;
float Z2 = Z;
//重投影
float uf = (fx*X2 + cx* Z2) / dep;
float vf = (fy*Y2 + cy * Z2) / dep;