2. 程式人生 > >Fast R-CNN論文筆記

Fast R-CNN論文筆記

阿新 • • 發佈：2018-11-17

本文分兩個部分，第一個部分是論文的筆記，第二個部分是結合程式碼來看fast-RCNN。

論文部分：

主要是為了對RCNN，SPPnet的效果上的改進，下面簡述了一些RCNN的缺點：

  • Training is a multi-stage pipeline
  • Training is expensive in space and time
  • object detection is slow

對於RCNN（SPPnet也差不多）來說，訓練包括很多個階段：提取特徵、調整CNN網路、訓練SVMs和對bbox做迴歸修整，而且，CNN得到的feature會被寫入到磁碟，會佔用很大的磁碟。

所以，在這裡fast RCNN的主要貢獻：

  • 相比於RCNN和SPPnet，fast RCNN有更高的目標檢測質量(mAP)
  • 訓練是一個單階段的過程，使用了multi-task loss（多工損失）
  • 訓練時可以更新所有網路層
  • 無需磁碟儲存feature的快取

下面是fast RCNN的網路結構：它的輸入有兩部分，一是the entire image，二是a set of object proposals（即候選框的資訊），通過卷積網路，從entire image中提取出feature map，然後，對於每一個object proposal，RoI pooling layer就從feature提取出對應的且fixed-length feature vector，然後這樣得到的每一個feature vector送入到後面的FCs層。

 

網路的細節：

  • RoI pooling layer：RoI pooling layer是將hxw的RoI window平分為HxW個子視窗，然後在子窗口裡最大池化，即取其中的最大值，這樣的操作，會使不論輸入多大的尺寸，輸出都會是一樣的尺寸。paper中使用的是7x7。
  • Initializing from pre-trained networks：一個預訓練的網路來初始化一個fast RCNN需要三個轉換：1、最後一層最大池化被一個RoI層代替和第一個全連線層相容；2、最後一個全連線層和softmax層被前文所述的兄弟層【即上圖所示的softmax層和regressor層】替代；3、網路需要被修改成採用兩個輸入：一個影象列表和這些影象中的RoIs列表。
  • Fine-tuning for detection：在fast RCNN訓練的時候，SGD mini-batches是分層抽樣的，首先採用N張圖片，然後採用對每一張圖片取樣R/N個RoIs。關鍵是在前向和反向計算時，來自同一張圖片的RoIs共享計算和記憶體，這將大大減少一個mini-batch的計算。例如，當N=2，R=128時，這種方法比從128個不同的影象中提取一個RoI的方法要快64倍。這種策略的缺點是可能會減慢訓練的收斂，因為來自同一張圖片的RoIs是相關的。但是在實踐中這種擔憂沒有出現，當N=2，R=128時，比RCNN使用更少的SGD迭代次數得到了更好的效果。
    • Multi-task loss：fast RCNN有兩個輸出，一個是對於每一個RoI類別判斷的離散的概率分佈p=(p_0, p_1, ...,p_k)【k個類別，再加上一個背景】，另一個輸出就是bbox的迴歸偏移 t^k=(t_x^k, t_y^k, t_w^k, t_h^k)，下圖是用於多分類任務的損失函式，u是ground-truth class，而v是ground-truth bbox regression target。這裡的L_{cls}應該是log損失函式。

    •  
    • Mini-batch sampling：每個mini-batch來自N=2張圖片，mini-batch size取R=128，也就是每張圖片裡取64個RoIs。25%的RoIs和ground-truth的IoU有至少0.5，剩下的75%RoIs取自最大IoU在[0.1, 0.5)之間的候選區域，代表u=0的背景樣例。訓練時，圖片以0.5的概率採用水平翻轉，不採用其他的資料增強技術。
    • Back-propagation through RoI pooling layers：這一部分推導ROI層前向和反向傳播函式
    • SGD hyper-parameters：分類和迴歸的全連線層分別被初始化為0均值的高斯分佈，標準差分別是0.01和0.001，偏置項初始化為0，learning rate=0.001，30k次迭代後，lr降至0.0001，再訓練10k次。但是訓練大資料時，迭代更多次數，momentum=0.9，weight_decay=0.0005【權重衰減用在正則項】。
  • Scale Invariance：尺度不變性的目標檢測方法 1、蠻力學習法；2、影象金字塔的方法

 

Fast R-CNN detection

  • 對於整張圖片的分類，花在全連線層的時間要遠小於卷積層。而對於檢測任務，當RoIs的數量較大的時候，大約一半的時間都用在計算全連線層。這時，可以對全連線層採用SVD（奇異值分解）的方法， 減少其引數，從而加快運算速度。
  • 一些實驗結果

設計的評估

  • 多工訓練確實對提高performance有幫助
  • 對於尺度不變性，蠻力方法（single）更好，image pyramid（multi-scale）只能帶來少量的mAP的提升，但是卻讓計算時間增加。也驗證了SPPnet中的結果：深度卷積網路善於直接學習尺度不變性。
  • SVMs並不是比softmax更好。

參考：https://zhuanlan.zhihu.com/p/22757861

 

程式碼部分：

GitHub上的fast-RCNN原始碼：https://github.com/rbgirshick/fast-rcnn

可以使用caffe程式碼視覺化工具：http://ethereon.github.io/netscope/#/editor

這裡視覺化的是models檔案下的caffenet【分別還有VGG16中型模型、VGG_CNN_M_1024大型模型】來視覺化，caffenet是Alexnet的一個變體，網路結構的變動主要是調整了pool和norm的位置。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

相關推薦

Fast R-CNN論文筆記

本文分兩個部分，第一個部分是論文的筆記，第二個部分是結合程式碼來看fast-RCNN。 論文部分： 主要是為了對RCNN，SPPnet的效果上的改進，下面簡述了一些RCNN的缺點： Training is a multi-stage pipeline Training

Fast R-CNN論文學習

R-CNN論文學習 Abstract 1. Introduction 1.1 R-CNN 和 SPPnet R-CNN的問題 SPPnet的改進和問題 1.2 本論文的貢獻

Mask R-CNN論文筆記

背景及大致思路 a. 何凱明基於Faster R-CNN提出的用於例項分割的結構框架。該框架在原本的結構上增加了用於預測mask的新支路，速度仍達到了5fps。同時，這個結構也能用於其他的視覺任務如檢測，人物關鍵點檢測。 b. 例項分割：是物體檢測和語義分割的結合，也就是要對每

Mask R-CNN 論文筆記

論文題目：Mask R-CNN 論文連結：論文連結 論文程式碼：Facebook程式碼連結；Tensorflow版本程式碼連結； Keras and TensorFlow版本程式碼連結；MxNet版本程式碼連結 一、Mask R-CNN

Fast R-CNN論文詳解

廢話不多說，上車吧，少年 &創新點 規避R-CNN中冗餘的特徵提取操作，只對整張影象全區域進行一次特徵提取； 用RoI pooling層取代最後一層max pooling層，同時引入建議框資訊，提取相應建議框特徵； Fast R-CNN網路

Region-based Convolutional Networks for Accurate Object Detection and Segmentation----R-CNN論文筆記

一、為什麼提出R-CNN 目標檢測效能停滯不前，效能最好的整合方法又太複雜，所以作者提出了一個既能大幅提升效能，又更簡單的R-CNN。 二、R-CNN的框架 上面的框架圖清晰的給出了R-CNN的目標檢測流程： 1) 輸入測試影象 2) 利用s

論文閱讀筆記二十五：Fast R-CNN (ICCV2015)

  論文源址：https://arxiv.org/abs/1504.08083 參考部落格：https://blog.csdn.net/shenxiaolu1984/article/details/51036677 摘要        該文提出了一

論文筆記 《Fast R-CNN》

轉載自http://zhangliliang.com/2015/05/17/paper-note-fast-rcnn/ R-CNN的進化版，0.3s一張圖片，VOC07有70的mAP，可謂又快又強。 而且rbg的程式碼一般寫得很好看，應該會是個很值得學習的專案。

論文筆記：目標檢測演算法（R-CNN，Fast R-CNN，Faster R-CNN，YOLOv1-v3）

R-CNN（Region-based CNN） motivation：之前的視覺任務大多數考慮使用SIFT和HOG特徵，而近年來CNN和ImageNet的出現使得影象分類問題取得重大突破，那麼這方面的成功能否遷移到PASCAL VOC的目標檢測任務上呢？基於這個問題，論文提出了R-CNN。 基本步驟：如下圖

R-CNN論文詳解（學習筆記）

R-CNN:基於候選區域的目標檢測 Region proposals 基本概念(看論文前需要掌握的)： 1.cnn(卷積神經網路):CNN從入門到精通（初學者） 2.Selective search:選擇性搜素 3.warp:圖形region變換 4.Supervised pre-t

【論文翻譯】Fast R-CNN

Fast R-CNN Ross Girshick Microsoft Research [email protected] 摘要 本文提出了一種快速的基於區域的卷積網路方法（fast R-CNN）用於目標檢測。Fast R-CNN建立在以

論文：Mask R-CNN 閱讀筆記

Mask R-CNN 目錄 Mask R-CNN 1 概述 2 模型設計 3 模型損失函式設計 4 模型的訓練細節 5 模型實驗 6 人體關鍵點檢測 7 模型的效能指標 1 概述 基於Fast/Faster R-CNN、F

深度學習 + 論文詳解： Fast R-CNN 原理與優勢

論文連結p.s. 鑑於斯坦福大學公開課裡面模糊的 R-CNN 描述，這邊決定精讀對應的論文並把心得和摘要記錄於此。前言在機器視覺領域的物體識別分支中，有兩個主要的兩大難題需要解決：目標圖片裡面含了幾種“物體”，幾個“物體”？該些物體分別坐落於圖片的哪個位置？而 R-CNN 的

RCNN學習筆記(2)：Fast R-CNN

Fast-RCNN建立在之前的深度卷積神經網路上進行有效的分類及目標檢測。但是它使用了幾個創新點來提高訓練及測試速度，並且也提高了檢測精度。 __________________________________________________________________

[論文翻譯] Fast R-CNN

摘要 本文提出了一種快速的基於區域的卷積網路方法（fast R-CNN）用於目標檢測。Fast R-CNN建立在以前使用的深卷積網路有效地分類目標的成果上。相比於之前的成果，Fast R-CNN採用了多項創新提高訓練和測試速度來提高檢測精度。Fast R-CN

R-CNN閱讀筆記

bsp search 地址 .com ++ style 輸入 產生 obj 論文地址：《Rich feature hierarchies for accurate object detection and semantic segmentation》 論文包含兩個關鍵：（

Fast R-CNN(RoI)簡介

fas 兩張 The 獨立 gin 意思 需要 完整 鏡像 　　Fast R-CNN是一個基於區域的目標檢測算法。Fast R-CNN建立在先前的工作之上，並有效地使用卷積網絡分類目標建議框。與先前的工作相比，使用幾點創新改善了訓練和測試時間並增加了檢測準確率。 2. Fa

【目標檢測】Cascade R-CNN 論文解析

都是 org 檢測 rpn 很多 .org 實驗 bubuko pro 目錄 0. 論文鏈接 1. 概述 @ 0. 論文鏈接 Cascade R-CNN 1. 概述 ??這是CVPR 2018的一篇文章，這篇文章也為我之前讀R-CNN系列困擾的一個問題提供了一個解決方案

R-CNN、Fast R-CNN、Faster R-CNN

在介紹Faster R-CNN之前，先來介紹一些前驗知識，為Faster R-CNN做鋪墊。 一、基於Region Proposal（候選區域）的深度學習目標檢測演算法 Region Proposal（候選區域），就是預先找出圖中目標可能出現的位置，通

Fast R-CNN（理解）

0 - 背景 　　經典的R-CNN存在以下幾個問題： 訓練分多步驟（先在分類資料集上預訓練，再進行fine-tune訓練，然後再針對每個類別都訓練一個線性SVM分類器，最後再用regressors對bounding box進行迴歸，並且bounding box還需要通過selective searc