【目標檢測】Fast RCNN演算法詳解
Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015.
繼2014年的RCNN之後，Ross Girshick在15年推出Fast RCNN，構思精巧，流程更為緊湊，大幅提升了目標檢測的速度。在Github上提供了原始碼。
同樣使用最大規模的網路，Fast RCNN和RCNN相比，訓練時間從84小時減少為9.5小時，測試時間從47秒減少為0.32秒。在PASCAL VOC 2007上的準確率相差無幾，約在66%-67%之間.
思想
基礎：RCNN
簡單來說，RCNN使用以下四步實現目標檢測：
a. 在影象中確定約1000-2000個候選框
b. 對於每個候選框內影象塊，使用深度網路提取特徵
c. 對候選框中提取出的特徵，使用分類器判別是否屬於一個特定類
d. 對於屬於某一特徵的候選框，用迴歸器進一步調整其位置
更多細節可以參看這篇部落格。
改進：Fast RCNN
Fast RCNN方法解決了RCNN方法三個問題：
問題一：測試時速度慢
RCNN一張影象內候選框之間大量重疊，提取特徵操作冗餘。
本文將整張影象歸一化後直接送入深度網路。在鄰接時，才加入候選框資訊，在末尾的少數幾層處理每個候選框。
問題二：訓練時速度慢
原因同上。
在訓練時，本文先將一張影象送入網路，緊接著送入從這幅影象上提取出的候選區域。這些候選區域的前幾層特徵不需要再重複計算。
問題三：訓練所需空間大
RCNN中獨立的分類器和迴歸器需要大量特徵作為訓練樣本。
本文把類別判斷和位置精調統一用深度網路實現，不再需要額外儲存。
以下按次序介紹三個問題對應的解決方法。
特徵提取網路
基本結構
影象歸一化為224×224直接送入網路。
前五階段是基礎的conv+relu+pooling形式，在第五階段結尾，輸入P個候選區域（影象序號×1+幾何位置×4，序號用於訓練）？。
注：文中給出了大中小三種網路，此處示出最大的一種。三種網路基本結構相似，僅conv+relu層數有差別，或者增刪了norm層。
roi_pool層的測試(forward)
roi_pool層將每個候選區域均勻分成M×N塊，對每塊進行max pooling。將特徵圖上大小不一的候選區域轉變為大小統一的資料，送入下一層。
roi_pool層的訓練(backward)
首先考慮普通max pooling層。設x i 為輸入層的節點，y j 為輸出層的節點。
其中判決函式δ(i,j) 表示i節點是否被j節點選為最大值輸出。不被選中有兩種可能：x i 不在y j 範圍內，或者x i 不是最大值。
對於roi max pooling，一個輸入節點可能和多個輸出節點相連。設x i 為輸入層的節點，y rj 為第r 個候選區域的第j 個輸出節點。
判決函式δ(i,r,j) 表示i節點是否被候選區域r的第j個節點選為最大值輸出。代價對於x i 的梯度等於所有相關的後一層梯度之和。
網路引數訓練
引數初始化
網路除去末尾部分如下圖，在ImageNet上訓練1000類分類器。結果引數作為相應層的初始化引數。
其餘引數隨機初始化。
分層資料
在調優訓練時，每一個mini-batch中首先加入N張完整圖片，而後加入從N張圖片中選取的R個候選框。這R個候選框可以複用N張圖片前5個階段的網路特徵。
實際選擇N=2， R=128。
訓練資料構成
N張完整圖片以50%概率水平翻轉。
R個候選框的構成方式如下：
| 類別 | 比例 | 方式 |
|---|---|---|
| 前景 | 25% | 與某個真值重疊在[0.5,1]的候選框 |
| 背景 | 75% | 與真值重疊的最大值在[0.1,0.5)的候選框 |
分類與位置調整
資料結構
第五階段的特徵輸入到兩個並行的全連層中（稱為multi-task）。
cls_score層用於分類，輸出K+1維陣列p ，表示屬於K類和背景的概率。
bbox_prdict層用於調整候選區域位置，輸出4*K維陣列t ，表示分別屬於K類時，應該平移縮放的引數。
代價函式
loss_cls層評估分類代價。由真實分類u 對應的概率決定：
loss_bbox評估檢測框定位代價。比較真實分類對應的預測引數t u 和真實平移縮放參數為v 的差別：
g為Smooth L1誤差，對outlier不敏感：
總代價為兩者加權和，如果分類為背景則不考慮定位代價：
存疑：bbox_loss_weights資料塊的作用是？
全連線層提速
分類和位置調整都是通過全連線層(fc)實現的，設前一級資料為x 後一級為y ，全連線層引數為W ，尺寸u×v 。一次前向傳播(forward)即為：
計算複雜度為u×v 。
將W 進行SVD分解，並用前t個特徵值近似：
原來的前向傳播分解成兩步：
計算複雜度變為u×t+v×t 。
在實現時，相當於把一個全連線層拆分成兩個，中間以一個低維資料相連。
在github的原始碼中，這部分似乎沒有實現。
實驗與結論
實驗過程不再詳述，只記錄結論
- 網路末端同步訓練的分類和位置調整，提升準確度
- 使用多尺度的影象金字塔，效能幾乎沒有提高
- 倍增訓練資料，能夠有2%-3%的準確度提升
- 網路直接輸出各類概率(softmax)，比SVM分類器效能略好
- 更多候選窗不能提升效能
同年作者團隊又推出了Faster RCNN，進一步把檢測速度提高到準實時，可以參看這篇部落格。
關於RCNN, Fast RCNN, Faster RCNN這一系列目標檢測演算法，可以進一步參考作者在15年ICCV上的講座Training R-CNNs of various velocities。