CPU上的高精度實時人臉檢測器

綜述

       人臉識別是計算機視覺和模式識別的基礎問題，過去幾十年取得了長足進步，但是由於計算量較大，在CPU上的實時檢測一直沒有很好的被解決。面臨的主要問題，一是人臉和背景的可變性都太大（種類太多），二是由於人臉的不同尺寸，使得搜尋空間快速上升。 
       過去的主流方法，一種是基於手動構建的特徵（hand-craft features），這種方法在CPU上速度尚可，但是面對種類繁多的影象變體精確度不足。另一種是基於CNN的方法，精確度足夠，但是在CPU上過於耗時，很難達到實時效果。 
本文受Faster-RCNN中RPN、SSD中多尺度技術的影響，提出了一種名為FaceBoxes的人臉檢測器並且可以在CPU上達到實時檢測的效果。網路結構是一個完整的CNN架構，可以實現端到端的訓練，雖然網路結構輕量，但效果突出。

網路結構

faceboxes的三個spotlight：

• 設計RDCL層：加速faceboxes在cpu上至實時處理速度，有三個策略：

1. 快速減少feature map尺度：在這個模組中，卷積的滑動步長是很大，屬於比較稀疏的滑動卷積。其中conv1滑動步長為4，使得feature map縮小1/4，conv2使得滑動步長為2，使得feature map縮小1/2，pool1,pool2分別縮小1/2，最終feature map縮小1/32。這樣就使得feature map減小的比較快，速度也就會提升。
2. 選擇合適的卷積核尺度：conv1、conv2、所有的pooling操作中，卷積核尺度為7 x 7、5 x 5、3 x 3，作者認為使用大尺度可以獲取更大的感受野，進而獲取更多的上下文資訊；這個需要和1配合著理解，1快速減少了feature map尺度，丟失了很多資訊，2通過更大的卷積核匹配上1中快速下降尺度造成的感受野與feature map尺度不匹配的問題，這樣就達到了一個折中的效果；
3. 使用C.Relu替代Relu，可以減少卷積核數目，但經過C.Relu後卷積核數目（對應的就是feature map changel數目）又可以翻倍；論文中作者在 AlexNet 的模型上做了一個有趣的實驗，發現：低層卷積層中的一些濾波器核存在著負相關程度很高的濾波器核，而層次越高的卷積層，這一現象越不明顯。作者把這一現象稱為pairing phenomenon；這樣在CNN中較低的層，C.ReLU減少一半輸出通道(output channels)的數量，通過簡單的連線相同的輸出和negation使其變成雙倍數量，即達到原來輸出的數量，這使得2倍的速度提升而沒有損失精度；個人理解，減少一半channel數目是根據conv filters數目降低一半得到的
   ，先減少一半channels的feature map，再通過C.ReLU可以擴充一倍的channels數目，這樣就達到了對比原先channel擴充2倍的conv filters的目的；conv filters減少了一倍，自然速度就提升了兩倍；

設[⋅]+=max(⋅,0)，則 C.ReLU 定義：CReLU(x)=([x]+,[−x]+)， 比如 −3→[0,3] 3→[3,0]；

CReLU有二維輸出，而一般的啟用函式只有一維輸出，因此可以將 CReLU 視作一維輸入二維輸出的啟用函式；

RDCL中使用C.ReLU可以顯著提升計算速度，卻不影響精度；具體操作方式如下圖所示：

• 設計MSCL層：豐富感受野和離散化anchor至不同的feature map上，在實現原理上很簡單：

1. 豐富感受野，使用了googlenet的inception結構,由於Inception包含多個不同的卷積分支，因此可以進一步使得感受野多樣化

   2. 離散化anchor至不同的feature map：複用了SSD的做法，以處理人臉的大尺度變化

• anchor密集取樣策略

1. 對淺層feature map(如faceboxes中的inception3)檢測的小尺度目標，其對應anchor(小目標對應的anchor一般預定義比較小，如32 x 32、64 x 64等)，做更加密集的anchor取樣，使得小目標anchor的取樣密集與大目標取樣密度一致，這樣可以提升對小目標的召回率；-----CVPR2018 ZCC針對anchor密集取樣給出了更合理的解釋，提出了emo score，從理論上認證了採用anchor密集取樣的優點：https://zhuanlan.zhihu.com/p/35856534

2. SSD和Faster R-CNN此類方法對小目標效果不好，一定程度上是因為小目標所能對應的anchor比較少，導致訓練不足。

   下圖是本文網路三個分支預設anchor的大小，以及每個分支對應的spatial stride。 
   我們可以據此定義anchor密度為(anchor大小 / stride)。 顯然，第一個分支的一些anchor密度不足。這也是為什麼小目標檢測效果不佳的重要原因。

   

對上圖進行一些說明：inception3分支中有三個anchor尺度，3.3小節提到了anchor取樣密度不一致的情形，如果32 x 32、64 x 64、128 x 128的anchor都使用stride為32的取樣，那麼取樣密度為1、2、4；為了生成相同的取樣密度，將32 x 32、64 x 64改為stride為8、16的取樣密度，那麼原先feature map上一個位置對應到原圖一個anchor，現在feature map上一個位置就對應到原圖4 x 4、2 x 2個anchor（橫、縱座標方向均做密集取樣）。