上一篇部落格中學習了特徵提取和匹配的概念，並且呼叫OpenCV庫實現了ORB特徵的提取和匹配。

找到了匹配點後，我們希望能夠根據匹配的  點對 來估計相機的運動。由於相機的原理不同，情況就變得有點複雜了：

1. 當相機為單目的時候，我們只知道2D的畫素座標，因而問題是根據兩組2D點估計運動。該問題用對極幾何來解決。
2. 當相機為雙目、RGB-D時，或者通過某種方法得到了距離資訊，那麼問題就是根據兩組3D點估計運動。該問題通常用ICP來解決。
3. 如果有3D點及其在相機的投影位置，也能估計相機的運動。該問題通過PnP來求解。

1、對極約束

       下面先來看一下兩個相鄰幀之間的匹配點有什麼關係？

以上圖為例，我們設從到的運動為，兩個相機的中心分別為。

現在，假設中有一個特徵點，它在中對應的點為

（我們知道這是通過特徵匹配得到的，如果匹配結果正確的話，就可以認為是同一個空間點在兩個成像平面上投影）

現在，我們假設匹配結果是正確的，然後就可以開始下面的數學推導了：

在的座標系下，設點的空間位置為，

根據針孔相機模型可以知道，兩個畫素點的畫素位置滿足：

，

因為使用的是齊次座標，所以在上式的左邊乘以任意一個非零常數也是成立的，則有：

，

現在取兩個畫素點在歸一化平面上的座標：，，代入上式中得：

然後兩邊同時左乘，注意：，得：

然後，兩式同時左乘，得到：

因為是一個和都垂直的向量，所以：=0，則有：

將的值重新代入得到：

上式就稱之為對極約束，它的幾何意義是共面。

我們把上式的中間兩個部分記為兩個矩陣：基礎矩陣（Fundamental matrix）F、本質矩陣（Essential matrix）E

， 

於是對極約束進一步簡化為下式：

有了上面的基礎之後，相機的位姿估計問題就可以分解為下面兩步：

（1）根據相鄰幀配對點的畫素位置求出E或者F

（2）根據E或者F求出R, t

注：由對極幾何的表示式也可以知道 利用對極幾何僅根據配對的畫素點位置就可以求相機運動，記為 2D-2D 問題（瞎說的）

2、本質矩陣E

       上面說了，根據 E 或者 F 都可以求出R, t，E 和 F 之間相差的就是相機內參K，而相機的內參矩陣在SLAM問題中一般是已知的，所以我們經常使用形式更加簡單的 本質矩陣E 來求解相機的運動。

       根據定義，本質矩陣，它是一個3*3的矩陣，內有9個未知數。另一方面，由於旋轉和平移各有3個自由度，故一共有6個自由度，但由於尺度等價性，實際上只有5個自由度。具有5個自由度的事實，表明我們最少可以用5對點來求解。但是的內在性質是一種非線性性質，在求解線性方程時會帶來麻煩，因此，也可以只考慮它的尺度等價性，使用8對點來估計---------這就是經典的八點法。（ps: 我對這段話不是很理解）

       接下來的問題就是如何根據估計到的本質矩陣，來分解出R和t了。這個過程是通過奇異值分解得到的。

3、單應矩陣H

       單應矩陣H，描述了兩個平面之間的對映關係。若場景中的特徵點都落在同一個平面上（比如牆、地面），則可以通過單應性來進行運動估計。這種情況在無人攜帶的俯視星際或者掃地機攜帶的頂視相機中比較常見。

下面從數學的角度說明一下什麼是單應矩陣：

考慮在影象上有一對匹配好的特徵點，這些特徵點落在平面上，設這個平面的方程為：

整理一下，就是：

又因為：，可以得到：

令 ，於是（H就是所謂的單應矩陣）

自由度為8的單應矩陣可以通過4對匹配特徵點算出（這些特徵點不能有三點共線的情況），然後通過H分解得到R，t。

計算出兩幅影象之間的單應矩陣H之後，可以有如下用途：

（1）根據H分解出相機的運動R、t

（2）應用這個關係可以將一個檢視中的所有點變換到另一個圖的視角下的圖片。