我這裡簡單講下OpenFace中實現人臉識別的pipeline，這個pipeline可以看做是使用深度卷積網路處理人臉問題的一個基本框架，很有學習價值，它的結構如下圖所示：

1、Input Image -> Detect

輸入：原始的可能含有人臉的影象。

輸出：人臉位置的bounding box。

這一步一般我們稱之為“人臉檢測”（Face Detection），在OpenFace中，使用的是dlib、OpenCV現有的人臉檢測方法。此方法與深度學習無關，使用的特徵是傳統計算機視覺中的方法（一般是Hog、Haar等特徵）。

對人臉檢測這一步感興趣的可以參考下列資料：

2、Detect -> Transform -> Crop

輸入：原始影象 + 人臉位置bounding box

輸出：“校準”過的只含有人臉的影象

對於輸入的原始影象 + bounding box，這一步要做的事情就是要檢測人臉中的關鍵點，然後根據這些關鍵點對人臉做對齊校準。所謂關鍵點，就是下圖所示的綠色的點，通常是眼角的位置、鼻子的位置、臉的輪廓點等等。有了這些關鍵點後，我們就可以把人臉“校準”，或者說是“對齊”。解釋就是原先人臉可能比較歪，這裡根據關鍵點，使用仿射變換將人臉統一“擺正”，儘量去消除姿勢不同帶來的誤差。這一步我們一般叫Face Alignment。

在OpenFace中，這一步同樣使用的是傳統方法，特點是比較快，對應的論文是：

3、Crop -> Representation

輸入：校準後的單張人臉影象

輸出：一個向量表示。

這一步就是使用深度卷積網路，將輸入的人臉影象，轉換成一個向量的表示。在OpenFace中使用的向量是128x1的，也就是一個128維的向量。

我們可以先看一下VGG16的模型：

VGG16是深度學習中一個比較簡單的基本模型。輸入神經網路的是影象，經過一系列卷積後，全連線分類得到類別概率。

在通常的影象應用中，我們可以去掉全連線層，用計算的特徵（一般就是卷積層的最後一層，e.g. 圖中的conv5_3）來當作提取的特徵進行計算。但如果對人臉識別問題同樣採用這樣的方法，即，使用卷積層最後一層做為人臉的“向量表示”，效果其實是不好的。如何改進？我們之後再談，這裡先談談我們希望這種人臉的“向量表示”應該具有哪些性質。

在理想的狀況下，我們希望“向量表示”之間的距離就可以直接反映人臉的相似度：

• 對於同一個人的人臉影象，對應的向量的歐幾里得距離應該比較小。
• 對於不同人的人臉影象，對應的向量之間的歐幾里得距離應該比較大。

這種表示實際上就可以看做某種“embedding”。在原始的VGG16模型中，我們使用的是softmax損失，沒有對每一類的向量表示之間的距離做出要求。所以不能直接用作人臉表示。

舉個例子，使用CNN對MNIST進行分類，我們設計一個特殊的卷積網路，讓最後一層的向量變為2維，此時可以畫出每一類對應的2維向量表示的圖（圖中一種顏色對應一種類別）：

上圖是我們直接使用softmax訓練得到的結果，它就不符合我們希望特徵具有的特點：

• 我們希望同一類對應的向量表示儘可能接近。但這裡同一類（如紫色），可能具有很大的類間距離。
• 我們希望不同類對應的向量應該儘可能遠。但在圖中靠中心的位置，各個類別的距離都很近。

那麼訓練人臉特徵表示的正確姿勢是什麼？其實有很多種方法。一種方法就是使用“center loss”。centor loss實際上是在softmax的loss上再加入一個損失，這個損失對每一類規定了一個“中心”點，每一類的特徵應該離這個中心點比較近，而不同類的中心點離的比較遠。加入center loss後，訓練出的特徵大致長這樣：

順帶一提，除了center loss外。學習人臉特徵表示的方法還有很多，如triplet loss（論文地址：A Unified Embedding for Face Recognition and Clustering）。triplet loss直接這樣的用三元組（A的影象1，A的影象2，B的影象）來訓練網路。去掉了最後的分類層，強迫神經網路對相同的人臉影象（三元組中的同一人A）建立統一的表達。

4、實際應用

輸入：人臉的向量表示。

有了人臉的向量表示後，剩下的問題就非常簡單了。因為這種表示具有相同人對應的向量的距離小，不同人對應的向量距離大的特點。接下來一般的應用有以下幾類：

• 人臉驗證（Face Identification）。就是檢測A、B是否是屬於同一個人。只需要計算向量之間的距離，設定合適的報警閾值（threshold）即可。
• 人臉識別（Face Recognition）。這個應用是最多的，給定一張圖片，檢測資料庫中與之最相似的人臉。顯然可以被轉換為一個求距離的最近鄰問題。
• 人臉聚類（Face Clustering）。在資料庫中對人臉進行聚類，直接K-Means即可。

5、後記

以上給大家介紹了OpenFace中處理人臉問題的pipeline。需要特別指出的是，人臉相關的問題是一個比較大的方向，一篇文章顯然是說不清楚的，這裡只是基於OpenFace，對比較重要的方法還有名詞做了一個解釋。在OpenFace中，為了速度的考慮，提取人臉特徵之前的Face Detection和Face Alignment就是使用的傳統方法。實際上也可以換用精度更高的深度學習相關方法，比如在中科院山世光老師開源的人臉識別引擎seetaface/SeetaFaceEngine中，Face Alignment使用就是一個基於autoencoder網路的方法。另外，學習人臉特徵同樣有適合不同場景的不同方法，這些都是要進一步學習的。

以上。大家有什麼問題可以在評論中提出～