“KinectFusion Real-Time Dense Surface Mapping and Tracking”一文於2012年發表，該文章首次實現了實時稠密重建（Real time dense restruction），我認為微軟的Kinect深度相機是其成功的根本，該文章也是首次成功應用了深度相機，是做實時稠密重建（Real time dense restruction）方向的必讀論文。

  系統的主體結構如圖所示：（摘自原文）

1. 深度相機採集資料，對資料做預處理。（Surface measurement）
2. 使用Prj ICP演算法估計相機位姿。（Sensor pose estimation）
3. 融合當前幀點雲到模型。（Surface reconstruction update）
4. 使用光線投射法（投影演算法）將點雲模型投影到下一幀相機位置的影象上供下一幀計算。（Surface prediction）

深度影象預處理（Surface measurement）

  記從感測器獲得的第 k 幀深度影象為 Rk ，記 u=[uv]T為深度圖某個畫素的畫素座標。那麼 Rk(u) 為第 k 幀深度圖的第 (u,v) 畫素的值，即深度。對 Rk 進行雙邊濾波得到 Dk 。

  記 K 為相機的內參矩陣（Intrinsic matrix）， u˙=[uT1]T 為 u 的齊次化向量。通過反投影法由 D

k 計算得到該幀的三維點雲集合 Vk （其中每個點 Vk(u)∈R3 ）：

Vk(u)=RkK−1u˙

*注1：雙邊濾波器可以參考雙邊濾波器的原理及實現一文。其作用是保留邊界梯度的情況下，濾除高頻噪聲。

  然後通過 Vk(u) 計算對應畫素點 u 的法向量 Nk(u) :

Nk(u)=ν[(Vk(u,v+1)−Vk(u,v))×(Vk(u+1,v)−Vk(u,v))]  其中 ν[x] 為向量單位化函式：
ν(x)=x||x||2

  由於深度影象並不是每個畫素點都是有值的，如下圖，深度影象中純黑色的部分就是感測器無法採集深度的區域，原因可能是多種的：探測區域超出了感測器的探測範圍、過於光滑的材質、能夠吸收紅外光的材質等。

  因此，需要一個掩碼矩陣Mk來表示該幀深度影象對應的位置是否有值。若對應畫素 u 有值，則 Mk(u)=1 ，否則 Mk(u)=0。

  至此，得到了 Rk 與 Nk 以供後面的投影法 ICP使用。

相機位姿估計（Sensor pose estimation）

  定義相機座標系，取相機光心為原點，取相機光軸為 Z 軸，畫素座標軸 u 與相機座標軸 X 同向。座標系符合右手系法則。

  TSDF(truncated signed distance function)，一般譯作“截斷符號距離描述函式”，可以把這個詞拆開看：

• 一張深度影象反投影變換到三維空間中的每個三維點都對應著原深度影象中的每一個畫素點，當點雲比較稠密時，我們可以將該點雲看成一個三維曲面，也就是function，記作F(x,y,z)=0。
• 所謂signed distance就是帶正負符號的距離，以相機的光軸為Z軸，對於一個三維點(x0,y0,z0)，記d=F(x0,y0,z0)，如果它在平面前面，則d的值為正，否則為負，（這是《高等數學》空間幾何代數部分的基礎內容）。
• 而“truncated”就是截斷，當|d|>t時，則|d|=0，其中t是截斷距離。

  ICP演算法（Iterate Closest Points）可以用於計算兩組點雲之間的剛體變換，對於 ICP演算法有多種變種，如點到點 ICP（Point-to-Point）、點到面 ICP（Point-to-Plane）、面到面 ICP（Plane-to-Plane）等。

  傳統的 ICP（Point-to-Point）是需要知道兩組點雲之間，一組點雲的各個點在另一組點雲中的最近點，才能進行計算。顯然，這需要遍歷另一組點雲以尋找最近點，最差會需要 O(N2) 的時間複雜度，即使使用一些資料結構來降低複雜度，（如KD-Tree、Octave-Tree等）也至少需要

相關推薦