1. 程式人生 > >《基於影象點特徵的多檢視三維重建》——相關概念彙總筆記

《基於影象點特徵的多檢視三維重建》——相關概念彙總筆記

1.    基於影象的影象3D重建 傳統上首先使用 Structure-from-Motion 恢復場景的稀疏表示和輸入影象的相機姿勢。
然後,此輸出用作Multi-View Stereo(多檢視立體)的輸入,以恢復場景衝密集表示。

        path/to/project/sparse ----------------    包含所有重建元件的稀疏模型
        path/to/project/dense  ----------------    包含其相應的密集模型
        
    Structure-from-Motion (運動推斷結構)是將3D結構從其投影重建為一系列影象的過程。
        1.特徵點檢測和提取
        2.特徵匹配和幾何驗證
        3.結構和運動重建
        
    Multi-View Stereo(多檢視立體)獲取SfM的輸出以計算影象中 每個畫素的深度 和/或 法線資訊。

    
**** 透視相機模型(perspective camera model) / 小孔成像 ****


影象特徵點檢測與匹配
    特徵點檢測演算法
        1. Laplacian檢測演算法
        2. DOG(difference of Gaussian)檢測演算法
        3. Harris-Affine Hessian-Affine
        4. SIFT(scale-invariant feature transform)尺度不變特徵變換
    特徵點描述:
        1.SIFT描述符
        2.PCA-SIFT
        3.SURF(speedd up robust features)
    特徵點匹配
        1.LSH(locality sensitive hashing) 區域性敏感雜湊
        2.基於層次的k均值(hierarchical k-means)
        3.ANN(approximate nearest neighbor) 高維近似最鄰近
        4.RANSAC(random sample consensus) 隨機取樣一致
        
基於影象的稀疏三維重建
    相機定標
        三維重建中的相機定標(camera calibration)指的是求解相機投影矩陣(camera projection matrix)過程。
        相機投影矩陣由相機的內部引數(intrinsic parameters)和外部引數(extrinsic parameters)共同決定。
        內部:焦距 主點     外部:旋轉矩陣 平移向量組
        自定標(self calibration) 利用絕對二次曲線(absolute conic,AC)及其對偶(dual absolute conic, DAC)成像的不變性
    運動推斷結構(structure from motion, SfM)
        在相機內部引數已知的情況下,同時恢復相機的外部引數和三維場景結構的過程。
        最新的SfM方法的改進包括:採用相機姿態估計來初始化相機引數;採用新的啟發式方法選擇初始兩檢視;
                                引入三維重建點篩選過程提出質量較差的重建結過,以及使用從影象檔案EXIF標記中提取的焦距資訊
        集束優化(bundle adjustment, BA)
        誤匹配產生了外點(outlier) RANSAC處理外點
        魯棒三維重建方法
        加速:平衡三焦距張量樹組織  分層聚類樹組織

多檢視稠密匹配與三維重建
    演算法回顧
        多檢視立體(multi-view stereo, MVS)的目標是從多副定標影象中重建完整、稠密的三維模型。
        第一類演算法首先在三維體積(3D volumn)中計算某種代價函式,然後從此三維體積中抽取物體的表面模型
            體素著色(voxel coloring)及其變種  體積馬爾可夫(volumetric MRF) 最大流(max-flow) 多路圖割(multi-way graph cut)
        第二類演算法通過迭代的表面進化來最小化某種代價函式。
            體素(voxel) 水平集(level-set) 多邊形網格 空間雕刻(space varving)及其變種
        第三類方法利用基於影象空間的方法計算一系列深度圖。
        第四類演算法直接通過影象特徵提取和匹配來獲得影象對應,然後建立場景的稠密或準稠密(quasi-dense)三維點雲,最後從稠密三維點雲中重建三維表面模型。
    效能評估
        Middlebury Multi-view Stereo

多檢視水下三維重建
    水下成像與折射變形
    折射建模
        折射相機模型(refractive camera model)顯示的對摺射建模
        慣性測量單元(inertial measurement unit, IMU)

多檢視幾何中常用的優化方法
    分為確定性方法和非確定性演算法
    確定性方法
        數值迭代演算法:GNA(Gauss-Newton algorithm)、GDA(gradient descent algorithm) 和 LMA(Levenberg Marquardt algorithm)
        集束優化(BA)

第二章--多檢視幾何及多檢視三維重建基礎


多檢視三維重建就是從多副二維圖形中獲取場景的結構和個影象對應的相機資訊。
    
在不改變相機定標矩陣的情況下,三維重構可以是相差一個任意相似變換(平移、旋轉和縮放)的重構,因此通常所說的多檢視三維重建實際上是一種度量三維重建(metric 3D reconstruction)


第三章--影象點特徵檢測以及多檢視匹配

多檢視稀疏點特徵對應關係的確立步驟:
    1. 利用影象點特徵檢測演算法搜尋定點陣圖像中可能與其他影象存在對應關係的興趣點;
    2. 對影象點特徵周圍一定範圍的區域進行描述,為每個影象點特徵提供一個描述子(通常為高維特徵向量)
    3. 在點特徵定位和描述的基礎上,通過描述子匹配建立各影象中稀疏點特徵之間的對應關係。

Harris點特徵檢測
SIFT(scale-invariant feature transform)尺度不變特徵變換:在尺度空間(scale space)中尋找極值點來檢測穩定的點特徵。
    尺度空間理論的基本思想是在影象資訊處理模型中引入尺度引數,通過變化尺度引數獲得多尺度下的空間表示序列,在尺度空間中提取不同解析度的影象特徵
    高斯查分(DOG difference of Gaussian)

SIFT點特徵描述子的構建主要包含旋轉主方向估計、描述子生成等步驟。
RANSAC(random sample consensus, 隨機抽樣一致)

第四章--多檢視三維重建相關優化方法基礎


非線性優化演算法 非線性最小二乘優化方法及三種全域性優化方法
全域性優化方法包括確定性優化方法中的凸優化(convex optimization)方法,非確定優化方法中的差分進化(differential evolution)演算法以及混合優化(hybrid optimizatioin)方法
非線性最小二乘優化演算法: 高斯牛頓迭代演算法(Gauss-Newton algorithm) 萊文伯格-馬夸特迭代法(Levenberg-Marquardt algorithm)--集束優化應用了部分規律
凸優化問題-線性規劃問題(Linear programming,LP)和二階錐規劃問題(second-order cone programming, SOCP)
凸優化求解問題的內點演算法(interior-point algorithm)
差分進化(differential evolution)