人臉識別系列（十）：Webface系列2
阿新 • • 發佈：2019-02-10
作者 CASIA
概述
為了得到更好的準確度，深度學習的方法都趨向更深的網路和多個模型ensemble，這樣導致模型很大，計算時間長。本文提出一種輕型的CNN，在取得比較好的效果同時，網路結構簡化，時間和空間都得到了優化，可以跑在嵌入式裝置和移動裝置上。
MFM啟用函式
本文使用了一種稱為MFM的啟用函式，這個結構也很簡單。在輸入的卷積層中，選擇兩層，取相同位置較大的值。
寫成公式：
輸入的卷積層為2n層，取第k層和第k+n層中較大的值作為輸出，MFM輸出就變成了n層。啟用函式的梯度為
這樣啟用層有一半的梯度為0，MFM可以得到稀疏的梯度，可以達到根據結果來更新與之相應的權值的效果
網路結構
網路最後一層是Sofmax層，實現分類的目的，fc1的結果就是人臉的特徵。
為什麼表格中沒有降維？
每個卷積層都有兩個獨立的部分，獨立進行訓練，然後輸入mfm，也就是說conv2_1和conv2_2是並行的。
卷積層的引數量這麼少？
貌似對於一個卷積核，它的各個維度之間同樣權值共享，這與其他的卷積網路都不一樣（不管是VGG、Inception同一個卷積核的各個維度的引數是不一樣的）。因此大幅度減少了引數。
而且最終的結果也不是很差
訓練
在GTX980上訓練了2個星期
訓練集是CASIA-WebFace(10K人，0.5M影象)
結果
關於c圖是和relu作比較的，關於這一點博主存在疑問，即CNN在每個卷積層使用的是兩個獨立的部分來做Maxout，對應的relu只有一個獨立的部分的話，結果可能不那麼有意義，因為網路的引數也有所提升了。
這個表格說明網路很輕量：
LFW得分
