LBP特徵

LBP（Local Binary Pattern，區域性二值模式）是一種用來描述影象區域性紋理特徵的運算元；它具有旋轉不變性和灰度不變性等顯著的優點。它是首先由T. Ojala, M.Pietikäinen, 和 D. Harwood 在1994年提出，用於紋理特徵提取。而且，提取的特徵是影象的區域性的紋理特徵。

• 原始的LBP運算元 原始的LBP運算元定義為在3x3的視窗內，以視窗中心畫素為閾值，將相鄰的8個畫素的灰度值與其進行比較，若周圍畫素值大於中心畫素值，則該畫素點的位置被標記為1，否則為0。這樣，3x3鄰域內的8個點經比較可產生8位二進位制數（通常轉換為十進位制數即LBP碼，共256種），即得到該視窗中心畫素點的LBP值，並用這個值來反映該區域的紋理資訊。如下圖所示：
• 圓形LBP運算元 基本的 LBP運算元的最大缺陷在於它只覆蓋了一個固定半徑範圍內的小區域，這顯然不能滿足不同尺寸和頻率紋理的需要。為了適應不同尺度的紋理特徵，並達到灰度和旋轉不變性的要求，Ojala等對 LBP 運算元進行了改進，將 3×3鄰域擴充套件到任意鄰域，並用圓形鄰域代替了正方形鄰域，改進後的 LBP 運算元允許在半徑為 R 的圓形鄰域內有任意多個畫素點。從而得到了諸如半徑為R的圓形區域內含有P個取樣點的LBP運算元。如下圖所示：
• LBP旋轉不變模式 從 LBP 的定義可以看出，LBP 運算元是灰度不變的，但卻不是旋轉不變的。影象的旋轉就會得到不同的 LBP值。具有旋轉不變性的 LBP 運算元，即不斷旋轉圓形鄰域得到一系列初始定義的 LBP值，取其最小值作為該鄰域的 LBP 值。如下圖所示：
• LBP等價模式
  • 一個LBP運算元可以產生不同的二進位制模式，對於半徑為R的圓形區域內含有P個取樣點的LBP運算元將會產生P2種模式。很顯然，隨著鄰域集內取樣點數的增加，二進位制模式的種類是急劇增加的。例如：5×5鄰域內20個取樣點，有220＝1,048,576種二進位制模式。如此多的二值模式無論對於紋理的提取還是對於紋理的識別、分類及資訊的存取都是不利的。同時，過多的模式種類對於紋理的表達是不利的。例如，將LBP運算元用於紋理分類或人臉識別時，常採用LBP模式的統計直方圖來表達影象的資訊，而較多的模式種類將使得資料量過大，且直方圖過於稀疏。因此，需要對原始的LBP模式進行降維，使得資料量減少的情況下能最好的代表影象的資訊。
  • 為了解決二進位制模式過多的問題，提高統計性，Ojala提出了採用一種“等價模式”（Uniform Pattern）來對LBP運算元的模式種類進行降維。Ojala等認為，在實際影象中，絕大多數LBP模式最多隻包含兩次從1到0或從0到1的跳變。因此，Ojala將“等價模式”定義為：當某個LBP所對應的迴圈二進位制數從0到1或從1到0最多有兩次跳變時，該LBP所對應的二進位制就稱為一個等價模式類。
• LBP特徵向量提取步驟 （1）首先將檢測視窗劃分為16×16的小區域（cell）； （2）對於每個cell中的一個畫素，將相鄰的8個畫素的灰度值與其進行比較，若周圍畫素值大於中心畫素值，則該畫素點的位置被標記為1，否則為0。這樣，3*3鄰域內的8個點經比較可產生8位二進位制數，即得到該視窗中心畫素點的LBP值； （3）然後計算每個cell的直方圖，即每個數字（假定是十進位制數LBP值）出現的頻率；然後對該直方圖進行歸一化處理； （4）最後將得到的每個cell的統計直方圖進行連線成為一個特徵向量，也就是整幅圖的LBP紋理特徵向量。 （5）然後便可利用Adaboost或者其他機器學習演算法進行分類了。

Adaboost分類器

Boosting演算法是一種通過多次學習來提升演算法精度的方法，它採用的是綜合的原則使得演算法的效率明顯改善，是一種將弱分類器提升為強分類器的方法，AdaBoost演算法是一種自適應Boosting演算法，自適應在於將前一個分類器分錯的樣本會被用來訓練下一個分類器，這種方法是一種迭代演算法，在每一輪中加入一個新的弱分類器，直到達到某個預定的足夠小的錯誤率。每一個訓練樣本都被賦予一個權重，表明它被某個分類器選入訓練集的概率。如果某個樣本點已經被準確地分類，那麼在構造下一個訓練集中，它被選中的概率就被降低；相反，如果某個樣本點沒有被準確地分類，那麼它的權重就得到提高。通過這樣的方式，AdaBoost方法能“聚焦於”那些較難分（更富資訊）的樣本上。

Adaboost演算法基本原理就是將多個弱分類器（弱分類器一般選用單層決策樹）進行合理的結合，使其成為一個強分類器。Adaboost採用迭代的思想，每次迭代只訓練一個弱分類器，訓練好的弱分類器將參與下一次迭代的使用。也就是說，在第N次迭代中，一共就有N個弱分類器，其中N-1個是以前訓練好的，其各種引數都不再改變，本次訓練第N個分類器。其中弱分類器的關係是第N個弱分類器更可能分對前N-1個弱分類器沒分對的資料，最終分類輸出要看這N個分類器的綜合效果。

• Adaboost 訓練過程：

1. 訓練第一個分類器（弱分類器為單層決策樹），樣本的權值D為相同的權值，通過一個弱分類器得到樣本的分類預測標籤、與給定的真實值對比，有：誤差ε=未正確分類分類數/總樣本數。如果某個樣本預測錯誤，則它對應的錯誤值為該樣本的權重，如果分類正確，則錯誤值為0. 最後累加樣本的錯誤率之和，記為ε。
2. 通過ε來計算該弱分類器的權重α，公式如下： $α = \dfrac{1}{2} ln(\dfrac{1-ε}{ε})$
3. 通過α來計算訓練下一個弱分類器樣本的權重D，如果對應樣本分類正確，則減小該樣本的權重，公式為： $D_i ^{(t+1)} = \dfrac {D_i^{t}e^{-α}}{Sun(D)}$ 如果樣本分類錯誤，則增加該樣本的權重，公式為： $D_i ^{(t+1)} = \dfrac {D_i^{t}e^{α}}{Sun(D)}$
4. 通過加權投票表決的方法，讓所有弱分類器進行加權投票表決的方法得到最終預測輸出，計算最終分類錯誤率，如果最終錯誤率低於設定閾值（比如5%），那麼迭代結束；如果最終錯誤率高於設定閾值，那麼更新資料權重得到W(i+1)。

• Adaboost 分類器的分類過程如下：

1. 設定初始累積置信度為 d = 0，輸入資料為 x
2. 假設 Adaboost 中包含T個決策樹，則令 k = 1…T
3. 令 $d = d + α_kh_k$ ，如果 $d<threshold(k)$則將資料判定為負類，分類終止。 否則返回第 2 步。( $α_k$為k級分類器的權重， $h_k(x)$為第k個弱分類器的分類結果）
4. 如果 x 通過了全部 N 級的判定，那麼將 x 判定為正類，置信度為 d。

• 級聯分類器

  AdaBoost訓練出來的強分類器一般具有較小的誤識率，但檢測率並不很高，一般情況下，高檢測率會導致高誤識率，這是強分類閾值的劃分導致的，要提高強分類器的檢測率既要降低閾值，要降低強分類器的誤識率就要提高閾值，這是個矛盾的事情。據參考論文的實驗結果，增加分類器個數可以在提高強分類器檢測率的同時降低誤識率，所以級聯分類器在訓練時要考慮如下平衡，一是弱分類器的個數和計算時間的平衡，二是強分類器檢測率和誤識率之間的平衡。

  級聯分類器由若干個簡單的AdaBoost分類器串接得來。假設AdaBoost分類器要實現99%的正確率，1%的誤檢率需要200維特徵，而實現具有99.9%正確率和50%的誤檢率的AdaBoost分類器僅需要10維特徵，那麼通過級聯，假設10級級聯，最終得到的正確率和誤檢率分別為: $TPR=(0.999)^{10} = 99.0\%$ $FPR=(0.5)^{10} = 0.1\%$ 可以看到通過級聯Adaboost分類器們能夠使用較少的特徵和較簡單的分類器更快更好的實現分類。另外在檢測的過程中，因為TPR較高，所以一旦檢測到某區域不是目標就可以直接停止後續檢測，這樣大部分檢測視窗都能夠很快停止，分類速度得到很大的提高。

  	具體的訓練過程如下：
  	確定每級的最大誤識率f，最小要達到的檢測率d；
  	最終級聯分類器的誤識率Ftarget；
  	P=正樣本
  	N=負樣本
  	F0=1.0，D0=1.0
  	i=0
  	For Fi<Ftarget
  		i=i+1
  		ni=0；Fi=Fi-1
  		For Fi < f*Fi-1
  			ni=ni+1
  			利用Adaboost在P與N上訓練出ni弱分類器
  			權衡當前級聯分類器的檢出率Di與誤檢率Fi
  			For 前級聯分類器的檢出率達到d*Di
  				降低第i層的強分類器的閾值
  				權衡當前級聯分類器的檢出率Di與誤檢率Fi
  		    End
  	   End
  	   N=0
  	   利用當前級聯分類器檢測負樣本，將誤識樣本放入N
     End
  

層次聚類

k-means演算法卻是一種方便好用的聚類演算法，但是始終有K值選擇和初始聚類中心點選擇的問題，而這些問題也會影響聚類的效果。為了避免這些問題，我們可以選擇另外一種比較實用的聚類演算法-層次聚類演算法。顧名思義，層次聚類就是一層一層的進行聚類，可以由上向下把大的類別（cluster）分割，叫作分裂法；也可以由下向上對小的類別進行聚合，叫作凝聚法；但是一般用的比較多的是由下向上的凝聚方法。

• 分裂法 分裂法指的是初始時將所有的樣本歸為一個類簇，然後依據某種準則進行逐漸的分裂，直到達到某種條件或者達到設定的分類數目。用演算法描述：

  輸入：樣本集合D，聚類數目或者某個條件（一般是樣本距離的閾值，這樣就可不設定聚類數目） 輸出：聚類結果 將樣本集中的所有的樣本歸為一個類簇； repeat： 在同一個類簇（計為c）中計算兩兩樣本之間的距離，找出距離最遠的兩個樣本a,b； 將樣本a，b分配到不同的類簇c1和c2中； 計算原類簇（c）中剩餘的其他樣本點和a，b的距離，若是dis(a)<dis(b)，則將樣本點歸到c1中，否則歸到c2 中； util：達到聚類的數目或者達到設定的條件

• 凝聚法 凝聚法指的是初始時將每個樣本點當做一個類簇，所以原始類簇的大小等於樣本點的個數，然後依據某種準則合併這些初始的類簇，直到達到某種條件或者達到設定的分類數目。用演算法描述：

  輸入：樣本集合D，聚類數目或者某個條件（一般是樣本距離的閾值，這樣就可不設定聚類數目） 輸出：聚類結果 將樣本集中的所有的樣本點都當做一個獨立的類簇； repeat： 計算兩兩類簇之間的距離（後邊會做介紹），找到距離最小的兩個類簇c1和c2； 合併類簇c1和c2為一個類簇； util：達到聚類的數目或者達到設定的條件