論文源址:https://arxiv.org/abs/1506.01497

tensorflow程式碼:https://github.com/endernewton/tf-faster-rcnn

摘要

      目標檢測依賴於區域proposals演算法對目標的位置進行預測。SPPnet和Fast R-CNN已經減少了檢測網路的執行時間。然而proposals的計算仍是一個重要的瓶頸。本文提出了一個Region Proposal Network(RPN),在檢測網路中共享卷積網路得到的整張圖片的feature map。RPN是全卷積網路可以同時預測目標物的邊界和每個位置出目標的分數。RPN是進行端到端的訓練用於產生高質量的候選區域。後送入Fast R-CNN進行檢測。該文通過共享卷積將RPN與Fast R-CNN進行融合為一個整體。基於注意力機制,RPN指明網路需要注意觀察的地方。

介紹

      目標檢測的先進方法包含一系列的區域框,和基於區域的卷積網路。由於proposals之間共享卷積的操作,使基於區域的卷積方法減少大量的計算資源。Fast R-CNN在忽略region proposal上的時間消耗外,可以近似實時的速率進行檢測。proposals的計算是測試時佔用大部分時間的主要部分。

      候選區域的生成主要依賴於較簡單的特徵和推理方法。Selective Search基於較低階的特徵融合超畫素的方式生成proposals。但SS的速度仍然很慢,在CPU上每張圖需要2s時間,EdgeBoxes能夠生成較高質量的proposal,同時,速度上也有一定的保證,處理每張圖的時間為0.2s。然而,region proposal的生成仍消耗與檢測網路相同的時間。

       該文在生成候選區域方法上做了一些改進,用深度卷積網路來獲得proposals。可以大幅度提升計算時間。RPN通過共享卷積使測試時,時間的佔用十分少。基於區域的檢測器可以被卷積特徵及逆行利用,用於產生region proposals。在卷積網路的頂部通過增加一些額外的卷積層構建RPN用於同時迴歸區域的邊界和在預測該區域類別的分數。因此RPN為全卷積網路,同時可以進行端到端的訓練用於產生檢測區域框。

       RPN通過一個較大範圍的尺寸與比例係數來高效的預測候選區域。以前的方法是使用影象金字塔,和不同大小的卷積核進行處理,本文提出了不同尺寸與比例係數組合得到的多個anchor 用於生成proposal作為參考,提高了測試的速度。如下圖,

        為了將RPN與Fast R-CNN融合在一起,本文,將proposals固定,交替的微調區域候選框生成任務和目標檢測部分的網路。這樣可以快速收斂,同時,卷積特徵在兩個任務之間共享可以實現網路的整合。

相關工作

        目標候選區域生成的方法有:基於畫素融合的SS,CPMC,MCG,基於滑動窗的EdgeBox等。目標區域框的被當作模型外的一部分,像基於SS的R-CNN和Fast R-CNN等。

        基於深度網路的目標檢測:R-CNN訓練卷積網路用於對proposals進行前景/背景的分類。R-CNN主要作為一個分類器。並不進行目標框的預測,除了通過框的迴歸進行增強。其準確率主要依賴於proposal模型的表現。OverFeat基於全連線層對單個目標進行框座標的預測。全連線層後接卷積層用於目標不同類別的確定。MultiBox方法從網路中生成區域候選框,該網路中的全連線層同時預測多個類別不確定的框。得到的類別不確定的框作為R-CNN的proposals。相比本文的全卷積機制,MultiBox網路應用在一個固定尺寸的輸入圖片上。同時,MultiBox在proposal和檢測網路之間並未共享特徵。

Faster R-CNN

       該模型主要包含兩個部分:(1)用於生成區域候選框的深度全卷積網路(2)Fast R-CNN用於作為檢測器。 模型為一個單獨一個整體用於目標檢測。結構如下。

region proposal networks

        RPN將任意尺寸大小的圖片作為輸入,輸出一系列的矩形目標框,每一個框都有一個類別的分數。該文使用一個全卷積網路實現上述操作。由於要想與fast rcnn實現共享計算,假定兩個模型有一個公共的卷積層。

         為了生成區域候選框,在卷積層最後一層feature map上滑動一個小的網路。該小型網路將輸入的卷積特徵對映到一個nxn的空間視窗作為輸入。每一個滑動視窗都對映為一個更低維的特徵。得到的特徵送入兩個分支中,一個用於框分類,另一個用於框迴歸。mi-ni 網路執行滑動視窗形式,所有空間位置都共享全連線層。該結構可以看作是一個nxn的卷積網路後接兩個1x1的卷積層。

Anchors

         在滑動窗的每個位置,對多個候選區域同時進行預測,對於每個位置處,最大概率為目標proposal的個數記作k。因此,該部分模型輸出為4xk用於編碼k個框的座標,和2xk個分數值用於表示k個框,前景/背景的概率。將kproposal叫做anchors。錨點處於滑動視窗的中心,並按照一定的尺寸及比例係數進行縮放。本文預設採用三種尺寸和比例係數,最終得到9個anchors在每個滑動位置處。對於一個大小為WxH的feature map,大約產生WHk個錨。

錨的平移不變性

         錨的一個重要屬性是平移不變性。如果圖片中的物體發生了偏移,則proposal應該也進行平移,而相同的函式可以在預測出任意位置的proposal。

而Multibox是基於k-means來生成800個anchors,不具有平移不變性。同時,該方法可以減少大量的引數。並在小資料集上較少風險會產生過擬合。

多尺寸的錨作為迴歸準則

         錨可以解決多尺寸問題(通過尺寸與比例係數)。本文基於不同尺寸的錨進行分類與迴歸操作。輸入圖片,與卷積核的尺寸都是固定的。

損失函式

         針對RPN的訓練,對每個anchor進行兩類標記,前景/背景(二分類)。按兩種方式對proposal進行正類標記:

                                    (1)將與一個ground Truth IOU值最大的proposal/proposals標記為正類。

                                    (2)一個anchor與任意IOU值高於0.7的標記為正類。

          值得注意的是,一個ground truth 可以對用多個anchors。上述第二種方式無法有效的確定正樣本。採用第一種方式進行標記,在少數情況下,第二種方式無法得到正樣本。將與任意ground truth IOU的值低於0.3的標記為負樣本。其中,既不是正樣本,也不是負樣本的proposal不考慮在訓練目標範圍內。

          對於單張圖片的損失函式定義如下:i代表一個batch中一個anchor的序列,pi代表預測為目標的概率,t_i為預測框的座標,而t*代表positivate anchor的ground truth 框的座標。

          分類取樣log損失,對於迴歸損失,採用L1平滑處理,按如下定義,通過設定k個權重不共享的錨,雖然,特徵圖相同,但可以預測出不同尺寸的bounding box。

RPN網路的訓練

          RPN可以基於反向傳播與SGD進行端到端的訓練。每張圖包含許多正負樣本。因此會訓練所有樣本,但由於負樣本的數量佔大多數,因此,會導致結果偏向於負樣本。對一張圖片隨機取樣256個樣本,如果,正樣本個數小於128個,則會用少量的負樣本進行填充。

RPN與Fast R-CNN之間的共享特徵

          該文討論了共享特徵訓練的三種方式:(1)交替訓練:首先訓練RPN,然後,用得到的proposals訓練fast R-CNN,通過fast R-CNN除錯後的網路初始化RPN網路。整個過程重複進行,這是本文使用的訓練方法。(2)近似聯合訓練:此方法中,RPN與Fast R-CNN合為一個網路。訓練時,每次SGD迭代,前向過程生成proposal,在訓練fast r-cnn時這些proposals可以被看作是固定的。反向傳播過程正常執行,當經過共享卷積層時,對RPN 與Fast R-CNN的損失函式正常進行。但此方法的反向傳播忽略了框座標的優化。因此是近似的聯合訓練。(3)第三種方式是非近似的聯合訓練,將RPN預測框座標的損失函式也要及進行考慮,但需要增加新的pooling 層和處理方法,超出本文的討論範圍。 

         整體訓練過程分為四步:

                                 I.訓練RPN網路,用ImageNet 預訓練模型進行初始化,並用proposal進行迭代訓練。

                                 II.基於Fast R-CNN的檢測網路的訓練,使用第一步RPN得到的proposals進行訓練。仍用ImageNet的預訓練模型進行初始化。目前,二者並未進行共享卷積的計算。

                                 III.用檢測網路初始化RPN網路訓練,將共享卷積層固定,只對RPN中的層進行微調。

                                 IV固定共享卷積層,對只屬於Fast R-CNN的層進行微調。  

         存在一些彼此高度重複的RPN框,基於類別分數採用NMS處理。將NMS的IOU設定為0.7,每張圖得到2000多個proposals。使用NMS並未降低準確率,同時會減少proposal的數量。

 實驗

 

 

Reference

         [1] K. He, X. Zhang, S. Ren, and J. Sun, “Spatial pyramid pooling in deep convolutional networks for visual recognition,” in European Conference on Computer Vision (ECCV), 2014.

          [2] R. Girshick, “Fast R-CNN,” in IEEE International Conference on Computer Vision (ICCV), 2015.