Rich feature hierarchies for accurate object detection and semantic segmentation

0. 簡介

本文是CVPR2014的論文，在這之前檢測最好的方法結合了low-level 影象特徵與high-level context資訊作為影象特徵；與此同時AlexNet在ImageNet影象分類任務中超越了人工特徵的方法，體現了卷積神經網路的強大能力。那CNN在影象分類任務中的優勢是否可以泛化到檢測任務中呢？如果可以表現如何？為了回答這些問題，文中設計了一種簡單的影象檢測演算法RCNN，在 VOC 2012 達到了53.3%的mAP值，超越了之前最好演算法的30%。RCNN融合了兩個關鍵的insight:

• 將高容量的CNN應用到image proposals 中來完成定位，分割任務是可行的；
• 如果有標註資料量不夠，預訓練之後在特定的問題中進行fine-tuning可以顯著的提高performance。

利用CNN完成檢測任務面臨的兩個問題：
如何利用CNN來定位物體：直接將定位建模為一個座標迴歸問題，當時已有的結果顯示這樣做的效果不好（30.5%mAP）；利用滑動視窗方法中，高層神經元的感受野與對應到輸入影象的stride過大，作者指出利用滑動視窗做精確定位是個具有挑戰性的問題。文中利用了“recognition using regions” paradigm，先將影象中生成2000個左右的category-independent region proposal，affine image warping後利用cnn提取propocal 固定維度的特徵丟入線性svm進行分類。

現有的有標註資料稀少不足以訓練高容量CNN 作者指出通過在一個較大的資料集中做有監督預訓練（對比之前的無監督預訓練），然後在特定問題的小資料集上做fine-tuning是一個非常有效的方法。文中指出在RCNN中fine-tuning可以提高8個百分點mAP（這裡不應該說預訓練帶來多少提升嗎？？？？）。

mAP 首先對於每個類別計算P-R曲線，那麼AP（Average Precision）就是P-R曲線的下面積，那麼mAP（mean Average Precision）就是對所有類別的平均。

IOU=(A∩B)/(A∪B)$IOU=(A\cap B)/(A\cup B)$

RCNN圖例，接下來具體介紹其中的每一個步驟。

1.模型設計

Region proposals產生 region proposals的方法種類很多，為了方便與其他方法對比，作者選擇了selective search[pdf][ss 參考連結] and [pythoncode]：

Selective Search is a region proposal algorithm used in object detection. It is designed to be fast with a very high recall. It is based on computing hierarchical grouping of similar regions based on color, texture, size and shape compatibility.

ss是一種速度快，召回率非常高的 region proposal 演算法，主要通過計算regions間的顏色，文理，大小，形狀的相似度來完成hierarchical grouping得到的。

Feature extraction: 文中採用 AlexNet結構（輸入227*227，fc7維度4096），為了讓region proposal的尺寸適應網路結構大小，作者試驗了不同的方法：

各向異性縮放這種方法很簡單，就是不管圖片的長寬比例，管它是否扭曲，進行縮放就是了，全部縮放到CNN輸入的大小227*227，如上圖(D)所示；

各向同性縮放因為圖片扭曲後，估計會對後續CNN的訓練精度有影響，於是作者也測試了“各向同性縮放”方案。這個有兩種辦法：

1. 直接在原始圖片中，把bounding box的邊界進行擴充套件延伸成正方形，然後再進行裁剪；如果已經延伸到了原始圖片的外邊界，那麼就用bounding box中的顏色均值填充；如圖(B)所示;
2. 先把bounding box圖片裁剪出來，然後用固定的背景顏色填充成正方形圖片(背景顏色也是採用bounding box的畫素顏色均值),如下圖(C)所示;

對於上面的異性、同性縮放，文獻還有個padding處理，上面的示意圖中第1、3行就是結合了padding=0,第2、4行結果圖採用padding=16的結果。經過最後的試驗，作者發現採用各向異性縮放、padding=16的精度最高。
上面處理完後，可以得到指定大小的patch，因為後面還要繼續用這2000個候選框圖片，訓練CNN得到特定層的feature，對於每個class，訓練線性SVM得到每個proposal的得分，最終在影象中利用非極大值抑制來去除一些框。這樣的框架在特徵維度數目，儲存空間，預測時間相對於之前的方法都有很大的優勢。

2. CNN訓練

有監督預訓練 作者首先在ILSVRC 2012中訓練了AlexNet，結果基本與論文中的結果差不多。

Domain-specific fine-tuning首先 ILSVRC2012中有1000個類別，而VOC中是20個類別，首先將AlexNet中的最後一個1000units的層替換會只有21個的（多了背景一類），並且隨機初始化這一層。對於資料標定，如果一個region proposal與某一個類別的ground true 標定框IoU>0.5，就標定這個proposal為這一類別的正樣本，如果與任何一類的ground true IoU都<0。5，標記為背景。 利用0.001的SGD進行訓練，batchsize為128（32positive &96background，正樣本相對太少了）

訓練分類器SVM訓練過程中，正樣本為ground true，也就是資料集中的標定，對於background，作者通過grid search 方法，發現把其定義為與ground true IoU<0.3結果最好。在實現中利用了hard negative mining方法來降低佔用的儲存空間。

這裡fine-tuning 與訓練svm正負樣本定義不同：

for finetuning we map each object proposal to the ground-truth instance with which it has maximum IoU overlap (if any) and label it as a positive for the matched ground-truth class if the IoU is at least 0.5. All other proposals are labeled “background” (i.e., negative examples for all classes). For training SVMs, in contrast, we take only the ground-truth boxes as positive examples for their respective classes and label proposals with less than 0.3 IoU overlap with all instances of a class as a negative for that class. Proposals that fall into the grey zone (more than 0.3 IoU overlap, but are not ground truth) are ignored.

作者在補充材料裡說明，現在這樣的定義得到的結果最好，在fine tuning的時候可以擴充正樣本資料量，對於訓練整個網路並防止其過擬合是必要的。同時 fine tuning的目標並不是精確的定位，所以這樣做是合理的。這也能解釋作者為何要不直接把一個softmax 分類器接在網路的最後，這樣做的結果不夠精細（因為資料標定不精細）同時訓練的也不是hard negatives。但是如果能夠解決掉這個gap的話，會加速RCNN。

Bounding box regression：對於一組訓練資料（pair）：

Pi,Gi=[Pix,Piy,Piw,Pih],[Gix,Giy,Giw,Gih]$$P^i,G^i=[P_x^i,P_y^i,P_w^i,P_h^i],[G_x^i,G_y^i,G_w^i,G_h^i]$$
P代表proposal，G代表ground truth，四個值分別是中心點座標（x,y）,寬w,高h，Bounding box 迴歸要學習四個函式，
dx(P),dy(P),dw(P),dh(P)$$d_x(P),d_y(P),d_w(P),d_h(P)$$
利用這四個函式把一個proposal對映到一個Ground truth：
G^x=Pwdx(P)+Px$${\hat{G}}_x=P_w{d}_x(P)+P_x$$
G^y=Phdy(P)+Py$${\hat{G}}_y=P_h{d}_y(P)+P_y$$
G^w=Pwexp(dw(P))$${\hat{G}}_w=P_{w}exp(d_w(P))$$
G^h=Phexp(dh(P))$${\hat{G}}_h=P_{h}exp(d_h(P))$$
d∗(P)=w∗ϕ5(P)$$d_{\ast }(P)={\mathbf{w}}^{\mathbf{\ast }}{\varphi }_5(P)$$
ϕ5(P)${\varphi }_5(P)$對應proposal經過神經網路的pool5特徵，最終的優化問題：
w∗=argminw^∗∑iN(t

相關推薦

RCNN:Rich feature hierarchies for accurate object detection and semantic segmentation 閱讀筆記

Rich feature hierarchies for accurate object detection and semantic segmentation 0. 簡介 本文是CVPR2014的論文，在這之前檢測最好的方法結合了low-lev

《Rich feature hierarchies for accurate object detection and semantic segmentation》筆記

傳統目標檢測基本都是特徵工程，通過low-level feature，各種methods做ensemble。這篇文章將CNN和目標檢測結合在一起，提出了R-CNN（Regions with CNN features）。 作者提出的方法，主要包括三個模組：

Rich feature hierarchies for accurate object detection and semantic segmentation (RCNN)筆記

RCNN系列對比圖，來源 1、本文主要是記錄RCNN。論文相對於以前的傳統方法的改進有： 速度，經典的目標檢測演算法使用滑動視窗依次判斷所有可能的區域。本文則（採用selective Search方法）預先提取一系列較可能是物體的候選區域，之後僅僅在這些候選區域上進行featur

Rich feature hierarchies for accurate object detection and semantic segmentation（理解）

0 - 背景 　　該論文是2014年CVPR的經典論文，其提出的模型稱為R-CNN（Regions with Convolutional Neural Network Features），曾經是物體檢測領域的state-of-art模型。 1 - 相關知識補充 1.1 - Selective Searc

論文閱讀筆記二十三：Rich feature hierarchies for accurate object detection and semantic segmentation Tech report(R-CNN CVPR2014)

論文源址：http://www.cs.berkeley.edu/~rbg/#girshick2014rcnn 摘要        在PASCAL VOC資料集上，最好的方法的思路是將低階資訊與較高層次的上下文資訊進行結合。該文的兩個亮點：（1）將CNN應用到re

Rich feature hierarchies for accurate object detection and semantic segmentation Tech report 論文解讀

一、R-CNN的三個模組 每個圖片生成獨立類別的 region proposal，這些 proposals 定義了可用於檢測器的候選框集合 使用大型的卷積神經網路，可以從每個region proposal中提取固定長度的特徵向量 一組能區分每個類別的線性向量機組

論文解讀1——Rich feature hierarchies for accurate object detection and semantic segmentation

背景 　　在2012 Imagenet LSVRC比賽中，Alexnet以15.3%的top-5 錯誤率輕鬆拔得頭籌（第二名top-5錯誤率為26.2%）。由此，convNet的潛力受到廣泛認可，一炮而紅。既然convNet在影象分類任務上能取得好成績，是不是也能放到目標檢測任務上呢。本文就是用convNet

深度學習論文翻譯解析（八）：Rich feature hierarchies for accurate object detection and semantic segmentation

論文標題：Rich feature hierarchies for accurate object detection and semantic segmentation 　　標題翻譯：豐富的特徵層次結構，可實現準確的目標檢測和語義分割 論文作者：Ross Girshick Jeff Donahue Trev

【深度學習：目標檢測】RCNN學習筆記(1):Rich feature hierarchies for accurate object detection and semantic segmentat

轉載：http://blog.csdn.net/u011534057/article/details/51218218 rcnn主要作用就是用於物體檢測，就是首先通過selective search 選擇2000個候選區域，這些區域中有我們需要的所對應的物體的bound

【筆記】R-CNN:Rich feature hierarchies for Accurate Object Detection and Segmentation

基於R-CNN的物體檢測 一、相關理論 本篇博文主要講解2014年CVPR上的經典paper：《Rich feature hierarchies for Accurate Object Detection and Segmentation》，這篇文章的演算法思想又被稱之為

[論文理解]Region-Based Convolutional Networks for Accurate Object Detection and Segmentation

Region-Based Convolutional Networks for Accurate Object Detection and Segmentation 概括 這是一篇2016年的目標檢測的文章，也是一篇比較經典的目標檢測的文章。作者介紹到，現在表現最好的方法非常的複雜，而本文的方法，簡單又容

Region-based Convolutional Networks for Accurate Object Detection and Segmentation----R-CNN論文筆記

一、為什麼提出R-CNN 目標檢測效能停滯不前，效能最好的整合方法又太複雜，所以作者提出了一個既能大幅提升效能，又更簡單的R-CNN。 二、R-CNN的框架 上面的框架圖清晰的給出了R-CNN的目標檢測流程： 1) 輸入測試影象 2) 利用s

【論文筆記】Region-based Convolutional Networks for Accurate Object Detection and Segmentation

《Region-based Convolutional Networks for Accurate Object Detection and Segmentation》是將卷積神經網路應用於物體檢測的一篇經典文章。 整個識別過程可以用下面的一張圖片來清晰的表示： 首先給定一

Dynamic Zoom-in Network for Fast Object Detection in Large Images 閱讀筆記

摘要 我們引入了一個通用框架, 它降低了物體檢測的計算成本, 同時保留了不同大小的物體在高解析度影象中出現的情況的準確性。檢測過程中以coarse-to-fine的方式進行，首先對影象的down-sampled版本,然後在一系列較高解析度區域上，識別出哪些可能

ECCV 2018 論文閱讀筆記——Acquisition of Localization Confidence for Accurate Object Detection

       目標檢測涉及到目標分類和目標定位，但很多基於 CNN 的目標檢測方法都存在分類置信度和定位置信度不匹配的問題。針對這一問題，一種稱之為 IoU-Net 的目標檢測新方法被提出，在基準方法的基礎上實現了顯著的提升。該論文已被將於當地時間 9 月 8

20.Flow-Guided Feature Aggregation for Video Object Detection

用於視訊目標檢測的流引導特徵聚合 摘要 將最先進的目標檢測器從影象擴充套件到視訊是具有挑戰性的。檢測的準確性受到視訊中外觀惡化的影響，例如，運動模糊，視訊散焦，罕見姿勢等。現有工作試圖在盒級上利用時間資訊，但是這種方法不是端對端訓練的。我們提出了流引導特徵聚合，一種用於視訊目標檢測的精確的端

Acquistion of Localization Confidence for Accurate Object Detection論文翻譯

翻譯僅為學習，如有侵權請聯絡我刪除。 翻譯如有錯誤之處請指出。 摘要 現在的基於CNN物體檢測器依賴於邊界框迴歸和非極大值抑制來定位物體。雖然類標籤的概率自然的反映了分類置信度，但缺乏定位置信度。這使得合適的定位邊界框在迭代迴歸期間退化，甚至在NMS時被抑制。在這篇論文裡我們提

【論文筆記】視訊物體檢測(VID)系列 FGFA：Flow-Guided Feature Aggregation for Video Object Detection

1.Abstract 視訊中的物體檢測會受到諸如運動模糊、視訊散焦、奇特姿態等的影響。現有的工作嘗試從box-level使用temporal資訊，但是這種方法不能端到端地進行訓練。我們提出了FGFA，在frame-level使用temporal資訊。它將相

Acquistion Location Confidence for accurate object detection

istio bubuko 問題 bject guid 誤差 特征值 family 原因 Acquistion Location Confidence for accurate object detection 本論文主要是解決一下兩個問題： 1、分類得分高的預測框與

Deep learning based Object Detection and Instance Segmentation using Mask R

A few weeks back we wrote a post on Object detection using YOLOv3. The output of an object detector is an array of bounding boxes around objects detected i