1. 間接法進行運動恢復的前提假設

對於結構與運動或視覺三維重建中，通常假設已經通過特徵匹配等方法獲取了匹配好的點對。
先求出匹配點對再獲取結構和運動資訊的方法稱作間接法。
間接法最重要的三個假設是：
1.擁有一系列兩幀之間的匹配點對。但同時假設匹配關係不一定精確:

• 匹配點不一定精確，即對於匹配點對 $(A_n,A_{n+1})$，$A_{n+1}$可能並非$A_n$的真實匹配 點，而是在它周圍；
• 匹配關係不一定正確。

2.場景是靜態的，即環境中不存在運動的物體
3.知道相機內參數且內參數恆定不變

此處的匹配點，可以是2D-2D

(單目相機初始化時)，2D-3D配對點（單目相機執行過程中，已經算出了3D的地圖點，又來了2D的圖形），或是3D-3D的匹配點（使用雙目相機、RGBD相機或其他感測器，可以直接過間接獲取匹配好的三維點對）。本文討論的主要是是基於2D-2D的配對點。

2.極線約束，本徵矩陣

2.1 極線約束：

物理世界上的一個三維點P投影到兩個成像面（實際上像面也常常處理成z=1的地方）上，點P與兩個像面的光心形成一個對極平面，$l_1,l_2$分別為對極平面與像平面相交的極線。
極線約束是指對第一個成像面上的點p1，它在第二個平面上的對應點p2總存在於對應的極線$l_2$上。
用$x$

x表示像平面座標的話，$K$為內參數矩陣，P為相機座標系三維點；如果已知內參數$K$，則可以去掉$K$的影響，即令$x = K^{-1}p$，得到
$\lambda_1x_1 = P，\lambda_2x_2 = RP+T$
即：
$\lambda_2 x_2 = \lambda_1Rx_1+T$(2-1)
此處的$x_1,x_2$可以看做是$z=1$平面上的點。

2.1.1 極線約束（Epipolar constraint，essential constraint，bilinear constraint）:

對於兩幀之間的歸一化座標$x_1,x_2$，
$x_2^T\hat TRx_1 = 0，（2-1）$
其推導過程如下：
1。由於$\lambda x = X$(相機座標系下世界座標)，則可得：

R，T分別為旋轉和平移矩陣。
2.左右分別左乘$\hat T$，即得到

3.左乘$x_2$，除掉$\lambda$影響:（將此縮放因子放入E中，此縮放因子在4部分會介紹），將上式左右兩邊投影到$x_2$上，即左乘上$x_2^T$，左側即為0（因為$T\times x_2垂直於x_2，因此左乘x_2即為0$），得極線約束：
$x_2^T\hat T Rx_1 = 0$
注：
上述2，3過程中，$\hat T，x_2$都是不可逆的，因此這兩個投影都是不可逆投影(與下文的可逆投影–單應性不同)；某種意義上這兩個過程將強約束轉化成弱約束了，但獲得的好處是將二維點直接聯絡起來，不用考慮三維點。

2.1.2 極線約束的幾何意義

$x_1,x_2$分別為從光心發出的向量。由於T為光心之間連線的向量，三個向量共面，所以該triple product為0。
對於式$ x_2^TEx_1=0$，如果令$l=Ex_1$
($Ex_1$結果為{a,b,c}，對應於右側像平面座標上的直線ax+bx+c=0)，則存在：$x_2^Tl=0$，即$x_2$存在於右側極線l上

2.1.3 本徵矩陣

令本徵矩陣（Essential Matrix）:$E = \hat TR$，則：
$x_2^TEx_1 = 0$（2-2）
E組成的空間稱為本徵空間：

本徵矩陣定義：
一個非零矩陣當且僅當（充要條件）svd 分解中$\Sigma$是：
$diag \{a,a,0 \},a>0$
時，這個矩陣是本徵矩陣。

為什麼特徵空間需要這樣定義？
1.為什麼秩為2？由於rank($R$) = 3;rank($T_{\times}$)=2，所以E為2。
2.為什麼特徵值相等？Since in the reconstruction, E is only defined up to a scalar

此時可由E求得R和T：

因此視覺SFM（structure of motion）問題中恢復分兩步走：

• Recover the Essential Matrix frome the epipolar constraints
• Extract the R,T if we know the Essential Matrix:E=U$\sigma$V
  從一系列極線約束中恢復的矩陣E一般是不滿足本徵矩陣的條件的；怎麼辦，再將E投影到本徵空間即可，具體做法是稱為八點法。

###3.運動資訊重建（旋轉和平移資訊）

####3.1 八點法（Eight-Point Algorithm）
#####3.1.1從點對中求解出矩陣E
先將矩陣E寫作棧的形式：

同時，假設點的齊次向量$x_1,x_2$表示成如下形式：


則極線約束可換成兩個向量乘積的形式：
$x_2^TEx_1 = a^TE^S，（2-3）$
對於n個點對：上式為：
$\chi E^S = 0,with \chi = (a^1,a^2,a^3,...,a^n)^T，(2-4)$
因此求解E變成求解方程(2-3），即$\chi$的零空間E。為了得到唯一解（除了平凡解E=0），$\chi$的秩應該是8。至少需要8個點對，即$\chi$的列數為8，rank($\chi$)才可能為8。當然，假如點對中某些點相互之間是線性相關，比如3個或以上的點在同一直線上，或者4個或以上點在同一平面上，則秩並非點對個數，此時需要8個以上的點才可能滿足要求。
由於無法知道E的正負（方向），因此結合每個E有兩個可能的(R,T)組合，最終可能有四個可能的(R,T)
#####3.1.2將矩陣E投影到本徵空間中
由於用線性方法求解的$E$往往不滿足上部分2所要求的兩個非零特徵值相等的要求，因此需要將E做一些變換，也即將E投影到特徵空間上，具體做法是：
對於
$E = Udiag\{\lambda_1,\lambda_2,\lambda_3\}V^T$
投影到特徵空間後為：
$E_p = Udiag\{ \sigma,\sigma,0\}V^T,with\ \ \sigma = （\lambda_1+\lambda_2)/2$

在三維重建中一般將$E_p$投影到歸一化的特徵空間上:即$E_p = Udiag\{ \sigma,\sigma,0\}V^T$除以$\sigma$，得到歸一化的結果$E_p = Udiag\{ 1,1,0\}V^T$

相關推薦