from: http://www.hqew.com/tech/fangan/1721922.html

摘  要： 提出了一種基於HOG-LBP特徵融合的人體頭肩檢測方法，其要點是將人體頭肩影象等分為多個部分重疊的塊，從每個塊內提取HOG和LBP特徵並加以融合，以得到更有效的人體頭肩的邊緣輪廓和紋理特徵，融合後的特徵送入支援向量機SVM（Support Vector Machine）通過Bootstrapping的方式進行訓練，得到最終的判別模型。實驗結果表明，該方法的檢測效果優於基於單一HOG、LBP特徵的方法。

　　關鍵詞： 梯度方向直方圖；區域性二值模式；頭肩檢測；支援向量機

0 引言

　　近年來，行人檢測是計算機視覺、影象處理、模式識別領域中一個十分重要的研究方向。傳統的行人檢測特徵提取方法都將人體目標作為一個整體，從大量包含人體目標的影象集中學習並提取整體特徵，然後採用統計分類技術進行目標檢測與分類。然而這種識別方法由於沒有利用影象中人體的區域性資訊，比如人體目標存在區域性遮擋、姿態發生較大變化等情況下，會導致整體特徵的顯著變化，對人體目標檢測的準確性造成很大的影響。由於人體頭肩呈現比較固定的類似“Ω”形狀和不易被遮擋等優點，為行人的準確檢測提供了先決條件。

　　當前頭肩檢測大致分為基於知識的方法和基於統計學習的方法。在基於知識的方法方面，MERAD D[1]等人提出利用骨架圖的方法檢測頭肩，該方法首先是前景影象的提取，然後用骨架描述前景影象，接著在骨架圖中找到人體的頭部。Chen Juan[2]等人假定頭肩為俯檢視像並接近圓形，通過Hough圓檢測頭肩輪廓，然後把檢測到的輪廓與YUV顏色空間的U、V顏色直方圖匹配，從而實現頭肩的檢測與定位。在基於統計學習的方法方面，Li Min[3]等人提出基於Haar特徵的級聯分類器和區域性HOG特徵的AdaBoost分類器的先粗後細的篩選來檢測頭肩；Li Zhixuan[4]等人採用Edgelet和LBP特徵融合，送入real AdaBoost構造頭肩檢測分類器等等。

　　由於現實中的頭肩顏色、輪廓等先驗知識存在較大差異，無法用統一的形式來描述。但是可以選用基於統計模式識別的方法，通過對大量樣本的學習來獲得頭肩的描述規則，自動分析頭肩與非頭肩的細微差別。基於此，本文根據人體頭肩的特點，提出了一種基於HOG-LBP特徵融合的人體頭肩檢測方法。

1 相關特徵介紹

　　1.1 HOG特徵

　　HOG描述是在一個網格密集、大小統一的細胞單元（Cell）上計算，並且為了提高效能，還採用了重疊的區域性對比度歸一化技術。其主要思想是：在一幅影象中，區域性目標的表象和形狀能夠被梯度或邊緣的方向密度分佈很好地描述。按照Dalal[5]提出的方法，HOG特徵提取方法包括5個步驟：顏色空間Gamma校正、計算梯度、統計單元內的方向梯度、重疊塊內的梯度強度的歸一化、塊內直方圖組合成HOG特徵向量。下面簡要介紹以上五個步驟。

　　（1）顏色空間Gamma校正

　　為了減少光照因素的影響，一般情況下，首先需要將整幅影象進行歸一化。但是後來研究人員通過實驗發現，顏色空間標準化處理對實驗結果影響不大，分析其原因，可能是接下來的計算過程中的特徵歸一化處理也能達到相似的效果。這樣在實際應用中，這個計算步驟可以省略。

　　（2）梯度的計算

　　設畫素（x，y）處的灰度值為I，梯度幅值為G，梯度方向為?茲，採用[-1，0，1]的一維中心梯度運算元，計算水平方向和垂直方向的梯度分別如下：

　　對於RGB彩色影象，即對每個顏色通道計算梯度，選取梯度幅值最大的顏色通道所對應的梯度作為該畫素點的梯度。

　　（3）將影象視窗區域劃分成均勻分佈的單元（如8×8畫素大小的單元），每相鄰的2×2單元組合成一個小區域塊。在小塊內的每個畫素以幅值作為權值投票到近鄰單元直方圖的相應梯度方向柱裡。不考慮梯度方向的正負，即將方向轉化到0°~180°內，直方圖取9個方向柱。

　　（4）對每一個小塊的直方圖進行歸一化，能夠對光照、陰影、邊緣對比度等具有更好的不變性。由於每個小塊有4個9維的直方圖，歸一化後即得到該小塊36維的特徵向量。假設ν為歸一化的特徵向量，常用歸一化方法有：①L2-norm歸一化：，其中ε是很小的常數，避免分母為0。②L2-Hys歸一化：對L2-norm的結果，若有元素大於0.2，則將其減小為0.2，之後再進行一次L2-norm。

　　（5）將所有小塊的特徵向量串聯起來，形成視窗的HOG特徵。

　　1.2 LBP特徵

　　LBP[6]最早是作為一種有效的紋理描述運算元提出來的，由於其對影象區域性紋理特徵的卓越描繪能力而獲得了十分廣泛的應用。LBP運算元的特點是計算高效、判別性強且對單調的灰度級變化具有不變性。

　　基本的LBP運算元是對於影象中的每一個畫素點，以該點的灰度值作為閾值，對其3×3鄰域內的畫素灰度值作比較，若周圍8個畫素點的值大於閾值，則為1，否則為0。按照一定的順序比較，得到一個8位的二進位制數，以此二進位制數作為對該畫素點的響應。圖1所示為提取過程。

　　其計算公式如下：

　　後來，基本LBP運算元被進一步推廣為使用不同大小和形狀的鄰域。採用圓形的鄰域並結合雙線性插值運算，從而可以獲得任意半徑和任意數目的鄰域畫素點。圖2給出幾種不同圓形鄰域的LBP運算元。

　　其中P是取樣點的數目，R是取樣半徑。

　　對於一個區域性二進位制模式，在將其二進位制位串視為迴圈的情況下，如果其中包含的從0到1或者從1到0轉變不超過2個，這樣區域性二進位制模式統一為一致性模式。例如模式00000000（0個轉變）和01110000（2個轉變）都是一致性模式。而模式00100010（4個轉變）和01010011（6個轉變）都是非一致性模式。經過對映，編碼方式由256種縮短為59種，使得特徵向量的維數減少。當背景中噪聲邊緣成分多時，HOG特徵的表現不足，而LBP運算元的一致性模式可濾除這類噪聲，彌補這一缺陷。將各個一致性模式對應到直方圖柱，而所有的非一致性模式都歸為一個柱。

2 HOG-LBP特徵融合

　　特徵提取是人體頭肩檢測中最為關鍵的環節之一，提取具有鑑別意義的特徵對準確檢測人體頭肩起著重要作用。特徵融合技術既融合了多種特徵的有效鑑別資訊，又能消除大部分冗餘的資訊，從而實現了資訊的有效壓縮，節約了資訊儲存空間，有利於加快運算速度和進行資訊的實時處理。目前常用的特徵融合方法為序列融合和並行融合。

　　設模式樣本空間?贅上存在兩個不同的特徵空間A、B，對於任意模式樣本ε∈?贅，設它對應的兩個特徵向量分別為?琢∈A和?茁∈B，序列融合後的特徵矩陣?酌=（?琢，?茁）。若特徵向量?琢和?茁分別為n和m維，由組合原理可知，其組合後的序列特徵空間為（n+m）維。並行融合後的特徵矩陣?酌=?琢+i?茁，其中i為虛數單位。若兩組特徵的維數不等，則低維的特徵向量用零補足，此時特徵矩陣維數為max{dim（A），dim（B）}。

　　序列特徵向量的計算過程如圖3所示，分別計算HOG特徵直方圖和LBP特徵直方圖，序列連線形成聯合直方圖。

3 實驗過程及結果分析

　　3.1 實驗樣本

　　為了測試HOG特徵和LBP特徵融合的有效性，建立了一個基於行人頭肩的資料庫。資料庫圖片大多通過現有的行人樣本集，手工摳取人體頭肩區域形成樣本圖片，用於訓練與測試。原始行人及負樣本集來自INRIA、MIT樣本集以及網上收集的一些人物圖片。訓練庫包含了2 500個正樣本和5 500個負樣本，部分正樣本圖片如圖4所示。

　　3.2 樣本HOG和LBP特徵計算以及融合

　　本文實驗中，樣本HOG特徵計算步驟：對正負樣本集中每一幅大小32×32的灰度圖片（這裡採用灰度圖片是考慮計算量大小的影響，並且對最終的檢測結果影響微小），計算矩形HOG特徵描述子R-HOG，設定的Cell大小為8×8，Block的大小為16×16，滑動步長是以一個Cell的寬度大小，HOG特徵計算的具體過程如下：

　　（1）為了減少光照等的影響，首先對樣本影象進行Gamma標準化，本實驗中這一步驟省略。

　　（2）計算灰度影象中各個畫素點x方向和y方向的梯度，採用簡單的[-1，0，1]模板計算梯度的方向和幅值。

　　（3）在每個Cell內，設定投影方向為9個bin，用各個畫素點的梯度幅值作為權重，投票統計各Cell的梯度方向加權直方圖，此直方圖的維數為9。

　　（4）對一個Block（Block之間有重疊）內的4個Cell採用L2-norm進行歸一化處理，然後統計4個Cell的梯度直方圖，維數為36。

　　（5）每幅影象需要計算HOG特徵向量的Block數目為：（（32-16）/8+1）（（32-16）/8+1），最後串聯影象中所有的Block，計算得到的HOG特徵向量的維數是：9×36=324維。

　　本實驗中，樣本LBP特徵計算步驟：對正負樣本集中每一幅大小為32×32的灰度圖片，採用基於滑動視窗的LBP特徵提取。滑動視窗針對影象演算法的一般描述如下：在一幅大小為W×H的影象中，按一定規律移動w×h的視窗（W>>w，H>>h），對視窗內畫素點進行一系列運算，運算結束後窗口向右或向下移動一步，直至完成對整幅影象的處理。設定視窗的大小為16×16，並設定視窗在水平方向和垂直方向的滑動步長為視窗寬度的一半。LBP特徵計算的具體過程如下：

　　（1）對於每個視窗中的一個畫素，採用運算元LBP（表示半徑為1、含8個鄰域的環形，均勻模式）來計算LBP特徵值。

　　（2）根據視窗內計算的LBP特徵值，計算每個視窗的直方圖，即每個LBP特徵值出現的次數，然後採用L2-norm進行歸一化處理，此直方圖的維數為59。

　　（3）每幅影象需要計算LBP特徵向量的視窗數目為：（（32-16）/8+1）（（32-16）/8+1），最後串聯影象中所有視窗的統計直方圖，計算得到的LBP特徵向量的維數是：9×59=531維。

　　最後，將樣本HOG特徵向量和LBP特徵向量序列連線形成聯合特徵向量。

　　3.3 分類器訓練

　　在目標檢測分類器演算法中，應用比較廣泛的是線性SVM和AdaBoost演算法。SVM在分類器過程中主要通過核函式，將線性不可分的低維空間轉換為線性可分的高維空間，但訓練過程中，容易出現數據分類失衡的問題。本文選擇了線性SVM分類器訓練，並且使用交叉驗證的方法選擇SVM最優引數，使分類器對輸入的訓練樣本分類精度最高。

　　3.4 實驗結果與分析

　　本文用HOG特徵、LBP特徵以及本文的HOG-LBP融合特徵，結合SVM分類器進行實驗。實驗測試影象大小為352×384，演算法基於OpenCV2.4.9修改，執行在VS2012環境下，Inter Core i3-3220（3.30 GHz）的四核處理器和4 GB記憶體的電腦上。實驗結果如表1所示。

　　分析表1可知，採用SVM分類器進行訓練，HOG-LBP融合特徵與HOG特徵、LBP特徵相比，能有效地降低誤檢率和漏檢率，但是由於融合特徵的維數增加，融合特徵檢測時間比單一特徵的檢測時間要長。

　　基於本文的HOG-LBP特徵融合，結合SVM分類器，對INRIA庫測試集影象進行多尺度遍歷後的識別效果如圖5所示，其中圖5（a）、圖5（b）都進行了較為準確的多目標檢測，其中圖5（a）中的人體頭肩有部分遮擋也可檢測出，圖5（b）中遠處的人體頭肩也可檢測出。圖5（c）和圖5（d）展示了部分誤檢與漏檢，漏檢是由於人體頭肩的形變過大或遮擋引起，誤檢則是因為物體的輪廓與人體頭肩輪廓很相似。

4 結束語

　　本文提出了一種基於HOG-LBP融合特徵的人體頭肩的檢測方法，融合的特徵不僅準確地表徵了人體頭肩輪廓資訊，而且能夠對人體頭肩輪廓紋理有很好的描述。實驗結果表明，本文所提的演算法可以達到較好的識別效果。

參考文獻

　　[1] Zheng Jin， Zhang Wan， Li Bo. Pedestrain detection based on background modeling and head-shoulder recognition[C].IEEE International Conference on Wavelet Analysis and Pattern Recognition（ICWAPR），2012：227-232.

　　[2] Chen Juan， Wen Quan， Zhuo Chenglong， et al. Automatic head detection for passenger flow analysis in bus surveillance videos[C]. International Congress on Image and Signal Processing（CISP）.2012：143-147.

　　[3] Li Min， Zhang Zhaoxiang. Rapid and robust human detection and tracking based on omega-shape feature[C]. IEEE International Conference on Image Processing（ICIP），2009：2545-2548.

　　[4] Li Zhixuan， Zhao Yanyun. Pedestrian detection in single frame by edgelet-LBP part detectors[C]. IEEE International Conference on Advanced Video and Signal-Based Surveillance（AVSS），2013：420-425.

　　[5] DALAL N， TRIGGS D. Histograms of oriented gradients for human detection[C]. Proceedings of Conference on Computer Vision and Pattern Recognition， San Diego， 2005：886-893.

　　[6] OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002，24（7）：971-987.

　　[7] 顧炯，趙曙光，王巨集斌.基於Joint HOG特徵複雜場景下的頭肩檢測[J].電子設計工程，2012（7）：58-62.

　　[8] 黃炎，範賜恩，朱秋平，等.聯合梯度直方圖和區域性二值模式特徵的人體檢測[J].光學精密工程，2013（4）：1047-1052.

　　[9] Zhao Yang. Theories and applications of LBP： a survey[C].Zhengzhou： 7th International Conference on Intelligent Computing，2012：112-120.

　　[10] AHONEN T， ABDEOUR H， MATTI P. Face recognition with local binary patterns[C]. Proceedings of the 8th Europen Conference on Computer Vision， 2004：469-481.