HOG(histogram of gradient)

sift(Scale-invariant feature transform)

• sift是用於描述影象中的區域性特徵，在空間尺度中尋找極值點，並且提取出其位置、尺度、旋轉不變數，因此具有尺度和旋轉不變的性質。

演算法步驟

• 構建尺度空間，使用高斯卷積核實現多尺度空間。

G(x,y,σ)=12πσ2e−(x2+y2)/2σ2$$G(x,y,\sigma )=\frac{1}{2\pi {\sigma }^2}{e}^{-(x^2+y^2)/2{\sigma }^2}$$

σ$\sigma$越大， 做卷積時，尺度空間越大，對應低解析度下的粗糙尺度，σ$\sigma$越小，對應越細的尺度空間，使用DoG尺度空間進行關鍵點的檢測，

D(

x,y,σ)=(G(x,y,σ)−D(x,y,σ))∗I(x,y)$$D(x,y,\sigma )=(G(x,y,\sigma )-D(x,y,\sigma ))\ast I(x,y)$$
對於一幅影象，構建其影象金字塔，即對影象進行降取樣等操作，每次降取樣生成一個octave。因此使得sift在任意尺度都有對應的特徵點。
* 使用LoG近似DoG找到關鍵點：如果一個點在DoG尺度空間本層以及上下2層的6個領域中是最大值或者最小值時，則可以將該點視為影象在該尺度下的一個特徵點。極值點檢測可以使用NMS。
* 去除不好的特徵點：主要是在上面檢測得到的特徵點中，去除低對比度的特徵點以及不穩定的邊緣響應點。
* 給特徵點賦值一個128維的方向引數：利用關鍵點鄰域畫素的梯度方向分佈特徵為每個關鍵點指定方向引數，使運算元具有旋轉不變性。
* 綜上，每個關鍵點都有3個資訊：位置、尺度以及方向，因此可以確定1個sift特徵區域。將特徵向量進行歸一化，可以進一步去除光照變化的影響。

sift匹配

• 給2張影象，首先得到其特徵點及sift特徵，之後進行相似度匹配，相似度最高或者閾值大於特定值的可以認為匹配成功，因此可以完成影象關鍵點的匹配。

參考連結

surf

• surf與sift的演算法相似，只是sift演算法更加穩定，檢測得到的特徵點更多，但是sift的演算法複雜度也更大。surf的運算簡單，運算時間更短一些，在要求實時性的系統中，可以使用surf。
• surf最大的特點是採用HARR特徵以及積分影象。

演算法描述

• surf是首先使用Hessian卷確定特徵點候選點，然後使用NMS。主要流程如下
• 對影象進行高斯濾波，這是為了使得特徵點具有尺度無關性。
• 構建hessian矩陣：hessian矩陣的行列式為
  det(H)=∂2f∂x2∂2f∂y2−(∂2f∂x∂y)2$$det(H)=\frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}^2}\frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{y}^2}-(\frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }x\mathrm{\partial }y}{)}^2$$

det(H)$det(H)$就是H矩陣的特徵值，可以使用其符號將所有點分類。在影象中，影象畫素值就是f，使用特定的卷積核計算二階偏導數，就可以得到H矩陣的3個元素。
* 尺度空間生成：sift中，是對影象進行尺度變換，filter不變；surf中保持影象大小不變，改變filter的尺度大小，提升特徵點檢測過程的速度和精度。同時，同一個octave中的影象用到的高斯模板尺度也不相同，演算法允許尺度空間多層影象同時被處理，不需要進行二次抽樣。
* NMS初步確定特徵點：對於得到的多尺度Hessian結果，將某一點及其26鄰域的hessian特徵值進行比較，如果是極大值或者極小值，就將其保留下來，否則不視為特徵點。
* 為了保證旋轉不變性，sift中是使用梯度直方圖統計，而surf中是統計特徵點領域內的Harr小波特徵，即統計特徵點為中心的60度扇形內所有點在x和y方向的haar小波響應總和，形成新的適量，遍歷整個圓形區域，選擇最長向量的方向作為特徵點的主方向。
* surf特徵描述運算元：在特徵點周圍選取正方形框，這個框的方向是特徵點的主方向，大小是20s(s是檢測到該特徵所在的尺度)。將box分為16個子區域，每個子區域統計25個畫素的水平和豎直方向的haar小波特徵，這裡x和y都是相對於主方向而言。該子區域的haar小波特徵為x方向值之和，x方向絕對值之和，y方向值之和，y方向絕對值之和。16個子區域最終可以形成1個64×1$64\times 1$的特徵描述子。

參考連結

fast(Features From Accelerated Segment Test)

• fast是一種快速的特徵點檢測方法，fast角點定義為：如果一個畫素與它周圍足夠多的畫素處於不同的區域，則該畫素點有可能是特徵點。主要步驟如下：
• 選擇一個畫素點p$p$，首先判斷它是否是特徵點。
  
  • 設定合適的閾值t$t$。
  • 在p$p$的周圍選16個畫素點進行測試，如果這16個畫素點中連續n個畫素點的畫素值都大於I(p)+t$I(p)+t$或者都小於I(p)−t$I(p)-t$，則將其視為特徵點。n常取9或者12。
  • 上述方法比較慢，一種可以用於加速的方法是首先判斷鄰域4個邊的頂點(1,5,9,13)是否有3個或者以上的畫素點滿足條件，有的話就繼續判斷，·否則該點不被視為特徵點。
• 上述步驟存在一些問題
  
  • 當n<12$n<12$時容易檢測出比較多的特徵點。
  • 角點檢測的效果取決於實際問題以及角點的分佈情況。
  • 沒有有效地利用角點檢測過程的資訊。（鄰域等資訊）
  • 有些部分可能會出現大量角點。
• 上面的問題中，前面三個可以通過機器學習訓練的方法解決，後面可以通過NMS進行去除。
  *總結：fast相對於之前的sift或者surf，檢測特徵點的速度要快很多。

參考連結

brief(Binary Robust Independent Elementary Features)

• brief特徵描述子中，每一位都是通過隨機選取的2個點進行比較得來的結果。在計算brief之前，首先需要對影象進行高斯濾波。它有幾個比較明顯的缺點。
  
  • 不具有旋轉不變性。
  • 不具有尺度不變性。
  • 對噪聲比較敏感。

orb(ORientedBrief)

• 針對brief的問題，orb做了一些改進。
• 對旋轉不變性的問題：orb使用了fast運算元用來進行特徵點檢測，通過矩計算特徵點的主方向，之後就可以沿著主方向提取brief運算元。
• 對噪聲敏感的問題：brief中使用的是pixel之間進行比較，而orb中是使用patch的畫素和進行比較，可以使用積分圖加快運算速度。
• orb沒有解決尺度不變性的問題，在一些實時處理視訊的應用中，可以使用啟發式的演算法去解決尺度不變性的問題。
• ORB是sift的100倍，是surf的10倍。