最近研究了一下LBP，就先從最基本的LBP說起。LBP（Local Binary Pattern，區域性二值模式）是一種用來描述影象區域性紋理特徵的運算元；它具有旋轉不變性和灰度不變性等顯著的優點。它是首先由T. Ojala, M.Pietikäinen, 和 D. Harwood 在1994年提出，用於紋理特徵提取。目前LBP有很多應用，如人臉識別，表情識別等。其他的區域性資訊有很多，比如HOG，SIFT等等。
　　
1、LBP特徵的描述
　　LBP就是一種區域性資訊，它反應了每個畫素與周圍畫素的關係。以定義為在3*3的視窗內的原始LBP運算元為例，他描述了視窗中心畫素與其相鄰的８個畫素的灰度值的大小關係。即以視窗中心畫素為閾值，將相鄰的8個畫素的灰度值與其進行比較，若周圍畫素值大於中心畫素值，則該畫素點的位置被標記為1，否則為0。如下圖示例：
　　

　　如上圖所示，中間畫素的灰度值為83，按照規則，我們就得到了8位二進位制數，順時針取值，就得到了一個畫素的LBP值，即01111100。得到這個8位二進位制數後，我們將其轉換為十進位制數（共256種，如上圖中即為124），即得到該視窗中心畫素點的LBP值（即為LBP碼），並用這個值來反映該區域的紋理資訊。就這樣對整個影象進行LBP運算，就可以得到這幅影象的LBP特徵。因此，LBP操作可以被定義為
　　　　　　
其中是中心畫素，亮度是；而則是相鄰畫素的亮度。s是一個符號函式：
　　　　　　
　　這種描述方法使得你可以很好的捕捉到影象中的細節。但基本的 LBP運算元的最大缺陷在於它只覆蓋了一個固定半徑範圍內的小區域，這顯然不能滿足不同尺寸和頻率紋理的需要。Ojala等對 LBP 運算元進行了改進，將 3×3鄰域擴充套件到任意鄰域，並用圓形鄰域代替了正方形鄰域，改進後的 LBP 運算元允許在半徑為 R 的圓形鄰域內有任意多個畫素點。即使用可變半徑的圓對近鄰畫素進行編碼，這樣可以捕捉到如下的近鄰：
　　　　　
對一個給定的點，他的近鄰點 (xｐ,yｐ),ｐ∈P可以由如下計算：
　　　　　
　　　　　
其中，R是圓的半徑，而P是樣本點的個數。這個操作是對原始LBP運算元的擴充套件，所以有時被稱為擴充套件LBP(又稱為圓形LBP)。如果一個在圓上的點不在影象座標上，我們使用他的內插點。電腦科學有一堆插值方法，而OpenCV使用雙線性插值。
2.　LBP特徵向量進行提取
　　提取影象特徵的目標無非就是為了進行分類，但是把一幅灰度影象轉化為了LBP特徵影象，從理論上講並沒有實現降維，也就無法進行分類。 這時就引入了直方圖統計，我們將LBP特徵進行直方圖統計，也就是統計LBP特0~255各佔的比例，這樣就進行了資料的降維。之後就可以將一個向量輸入分類器中進行分類。可是由於只有256維特徵，所以分類的效果並不好。這時我們就引入了影象分塊處理的方法，也就是說將影象分成若干的影象塊，如，在人臉識別中，把臉分為7*7或5*5的區域(cell)，並對這49，25個小區域進行LBP處理，將每個小區域的直方圖進行串聯，就可以得到整個影象的LBP直方圖。並對這個直方圖進行分類處理，這樣可以大大的增強分類的效果。但是分類資料維度也大大增加了，如果是7*7區域，資料維度為 7*7*256＝12544維。
　　
對LBP特徵向量進行提取的步驟,如下所示：

1. 將檢測視窗劃分為16×16的小區域(cell)；
2. 對於每個cell中的一個畫素，將相鄰的8個畫素的灰度值與其進行比較，若周圍畫素值大於中心畫素值，則該畫素點的位置被標記為1，否則為0。這樣，3*3鄰域內的8個點經比較可產生8位二進位制數，即得到該視窗中心畫素點的LBP值；
3. 然後計算每個cell的直方圖，即每個數字（假定是十進位制數LBP值）出現的頻率；然後對該直方圖進行歸一化處理。
4. 最後將得到的每個cell的統計直方圖進行連線成為一個特徵向量，也就是整幅圖的LBP紋理特徵向量；
   然後便可利用SVM或者其他機器學習演算法進行分類了。

３.LBP均勻模式LBP (uniform LBP)
　　可以看出資料的維度還是比較大，這是因為基本地LBP運算元可以產生不同的二進位制模式，對於半徑為R的圓形區域內含有P個取樣點的LBP運算元將會產生P2種模式。很顯然，隨著鄰域集內取樣點數的增加，二進位制模式的種類是急劇增加的。
　　所以需要進一步進行降維，這裡就涉及了另外一個概念：Uniform LBP，即均勻模式LBP。這種降維將原來的256維灰度資料重新分類，統計其位移後的跳變次數，當跳變次數小於2次時就定義為一個Uniform LBP，比如00000000左移一位還是00000000，沒有跳變，即跳變次數為0；00001111左移一位為00011110，跳變次數為2；10100000左移一位為01000001跳變次數為3，它不是Uniform LBP。所有的8位二進位制數中共有58個uniform pattern.所以我們將分類特徵向量由256維降為58維。在實際應用中，其實是59維，因為加一維表示那些不是Uniform LBP的量。那麼7*7的人臉區域在進行降維之後，有7*7*59＝2891維。由此對LBP特徵進行了降維。為什麼要提出這麼個uniform LBP呢，例如：5×5鄰域內20個取樣點，有2^20＝1,048,576種二進位制模式。如此多的二值模式無論對於紋理的提取還是對於紋理的識別、分類及資訊的存取都是不利的。同時，過多的模式種類對於紋理的表達是不利的。
　　為了解決二進位制模式過多的問題，提高統計性，Ojala提出了採用一種“等價模式”(Uniform Pattern)來對LBP運算元的模式種類進行降維。Ojala等認為，在實際影象中，絕大多數LBP模式最多隻包含兩次從1到0或從0到1的跳變。因此，Ojala將“等價模式”定義為：當某個LBP所對應的迴圈二進位制數從0到1或從1到0最多有兩次跳變時，該LBP所對應的二進位制就稱為一個等價模式類。如00000000(0次跳變)，00000111(只含一次從0到1的跳變)，10001111(先由1跳到0，再由0跳到1，共兩次跳變)都是等價模式類。除等價模式類以外的模式都歸為另一類，稱為混合模式類，例如10010111(共四次跳變)。通過這樣的改進，二進位制模式的種類大大減少，而不會丟失任何資訊。模式數量由原來的2P種減少為 P(P-1)+2種，其中P表示鄰域集內的取樣點數。對於3×3鄰域內8個取樣點來說，二進位制模式由原始的256種減少為58種，即：它把值分為59類，58個uniform pattern為一類，其它的所有值為第59類。這樣直方圖從原來的256維變成59維。這使得特徵向量的維數更少，並且可以減少高頻噪聲帶來的影響。

４. 旋轉不變的LBP ： 36個
　　由於編碼的起始點是一定的，每一種二值編碼模式經旋轉（迴圈位移）後會產生不同的編碼結果。為了形成旋轉不變的編碼模式，我們讓有同一編碼模式經旋轉後產生的編碼結果編碼為同一值，即這些旋轉結果中的最小值。而旋轉不變模式LBP能夠在圖片發生一定的傾斜時也能得到相同的結果。它的定義可以看下(注：此圖來自於網路)：
　　
　　從 LBP 的定義可以看出，LBP 運算元是灰度不變的，但卻不是旋轉不變的。影象的旋轉就會得到不同的 LBP值。Maenpaa等人又將 LBP運算元進行了擴充套件，提出了具有旋轉不變性的 LBP 運算元，即不斷旋轉圓形鄰域得到一系列初始定義的 LBP值，取其最小值作為該鄰域的 LBP 值。可以表示為：
　　
　　
　　如上圖所示(注：此圖來自於網路)給出了求取旋轉不變的 LBP 的過程示意圖，圖中運算元下方的數字表示該運算元對應的 LBP值，圖中所示的 8 種 LBP模式，經過旋轉不變的處理，最終得到的具有旋轉不變性的 LBP值為 15。也就是說，圖中的 8種 LBP 模式對應的旋轉不變的 LBP模式都是 00001111。
　　以下是36個旋轉不變的LBP編碼模式：
　　
　　LBP的Mablab工具箱 在這裡可以下載。觀察它的實現方法是十分巧妙的，它並沒有針對每個畫素計算出其LBP值，而是首先將影象進行移動，之後進行對比，取得每一位的LBP值後乘以2的相應次方加上原來的值，即得到其對應LBP值，可以說是一種很巧妙的方法。