1. 程式人生 > >yolo v1 v2 v3

yolo v1 v2 v3

YOLO v1

這是繼RCNN,fast-RCNN和faster-RCNN之後,rbg(RossGirshick)針對DL目標檢測速度問題提出的另外一種框架。YOLO V1其增強版本GPU中能跑45fps,簡化版本155fps。

論文下載:http://arxiv.org/abs/1506.02640
程式碼下載:https://github.com/pjreddie/darknet 

1. YOLO的核心思想

  • YOLO的核心思想就是利用整張圖作為網路的輸入,直接在輸出層迴歸bounding box的位置和bounding box所屬的類別。

  • faster RCNN中也直接用整張圖作為輸入,但是faster-RCNN整體還是採用了RCNN那種 proposal+classifier的思想,只不過是將提取proposal的步驟放在CNN中實現了,而YOLO則採用直接回歸的思路。

2.YOLO的實現方法

  • 將一幅影象分成SxS個網格(grid cell),如果某個object的中心 落在這個網格中,則這個網格就負責預測這個object。
    這裡寫圖片描述
  • 每個網格要預測B個bounding box,每個bounding box除了要回歸自身的位置之外,還要附帶預測一個confidence值。
    這個confidence代表了所預測的box中含有object的置信度和這個box預測的有多準兩重資訊,其值是這樣計算的:


    其中如果有object落在一個grid cell裡,第一項取1,否則取0。 第二項是預測的bounding box和實際的groundtruth之間的IoU值。

  • 每個bounding box要預測(x, y, w, h)和confidence共5個值,每個網格還要預測一個類別資訊,記為C類。則SxS個網格,每個網格要預測B個bounding box還要預測C個categories。輸出就是S x S x (5*B+C)的一個tensor。
    注意:class資訊是針對每個網格的,confidence資訊是針對每個bounding box的。

  • 舉例說明: 在PASCAL VOC中,影象輸入為448x448,取S=7,B=2,一共有20個類別(C=20)。則輸出就是7x7x30的一個tensor。
    整個網路結構如下圖所示:

  • 在test的時候,每個網格預測的class資訊和bounding box預測的confidence資訊相乘,就得到每個bounding box的class-specific confidence score:
    這裡寫圖片描述
    等式左邊第一項就是每個網格預測的類別資訊,第二三項就是每個bounding box預測的confidence。這個乘積即encode了預測的box屬於某一類的概率,也有該box準確度的資訊。

  • 得到每個box的class-specific confidence score以後,設定閾值,濾掉得分低的boxes,對保留的boxes進行NMS處理,就得到最終的檢測結果。

  • 注:

    <p><em><u>*由於輸出層為全連線層,因此在檢測時,YOLO訓練模型只支援與訓練影象相同的輸入解析度。</u></em></p>
    
    <p><em><u>*雖然每個格子可以預測B個bounding box,但是最終只選擇只選擇IOU最高的bounding box作為物體檢測輸出,即每個格子最多隻預測出一個物體。當物體佔畫面比例較小,如影象中包含畜群或鳥群時,每個格子包含多個物體,但卻只能檢測出其中一個。這是YOLO方法的一個缺陷。</u></em></p>
    </li>
    

3.YOLO的實現細節

  • 每個grid有30維,這30維中,8維是迴歸box的座標,2維是box的confidence,還有20維是類別。
    其中座標的x,y用對應網格的offset歸一化到0-1之間,w,h用影象的width和height歸一化到0-1之間。

  • 在實現中,最主要的就是怎麼設計損失函式,讓這個三個方面得到很好的平衡。作者簡單粗暴的全部採用了sum-squared error loss來做這件事。
    這種做法存在以下幾個問題:
    第一,8維的localization error和20維的classification error同等重要顯然是不合理的;
    第二,如果一個網格中沒有object(一幅圖中這種網格很多),那麼就會將這些網格中的box的confidence push到0,相比於較少的有object的網格,這種做法是overpowering的,這會導致網路不穩定甚至發散。
    解決辦法:

    <ul><li>更重視8維的座標預測,給這些損失前面賦予更大的loss weight, 記為<img alt="" class="has" height="24" src="https://img-blog.csdn.net/20160317162205978" width="52">在pascal VOC訓練中取5。</li>
    	<li>對沒有object的box的confidence loss,賦予小的loss weight,記為<img alt="" class="has" height="24" src="https://img-blog.csdn.net/20160317162453951" width="52">在pascal VOC訓練中取0.5。</li>
    	<li>有object的box的confidence loss和類別的loss的loss weight正常取1。</li>
    </ul></li>
    <li>
    <p>對不同大小的box預測中,相比於大box預測偏一點,小box預測偏一點肯定更不能被忍受的。而sum-square error loss中對同樣的偏移loss是一樣。<br>
    為了緩和這個問題,作者用了一個比較取巧的辦法,就是將box的width和height取平方根代替原本的height和width。這個參考下面的圖很容易理解,小box的橫軸值較小,發生偏移時,反應到y軸上相比大box要大。(也是個近似逼近方式)<br><img alt="" class="has" height="161" src="https://img-blog.csdn.net/20160317163247283" width="300"></p>
    </li>
    <li>
    <p>一個網格預測多個box,希望的是每個box predictor專門負責預測某個object。具體做法就是看當前預測的box與ground truth box中哪個IoU大,就負責哪個。這種做法稱作box predictor的specialization。</p>
    </li>
    <li>最後整個的損失函式如下所示:<br><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20160317163417800"><br>
    這個損失函式中:
    <ul><li>只有當某個網格中有object的時候才對classification error進行懲罰。</li>
    	<li>只有當某個box predictor對某個ground truth box負責的時候,才會對box的coordinate error進行懲罰,而對哪個ground truth box負責就看其預測值和ground truth box的IoU是不是在那個cell的所有box中最大。</li>
    </ul></li>
    <li>其他細節,例如使用啟用函式使用leak RELU,模型用ImageNet預訓練等等,在這裡就不一一贅述了。</li>
    <li>
    <p><u><em>注:</em></u></p>
    
    <p><u><em>*YOLO方法模型訓練依賴於物體識別標註資料,因此,對於非常規的物體形狀或比例,YOLO的檢測效果並不理想。</em></u></p>
    
    <p><u><em>*YOLO採用了多個下采樣層,網路學到的物體特徵並不精細,因此也會影響檢測效果。</em></u></p>
    
    <p><u><em>* YOLO loss函式中,大物體IOU誤差和小物體IOU誤差對網路訓練中loss貢獻值接近(雖然採用求平方根方式,但沒有根本解決問題)。因此,對於小物體,小的IOU誤差也會對網路優化過程造成很大的影響,從而降低了物體檢測的定位準確性。</em></u></p>
    </li>
    

4.YOLO的缺點

  • YOLO對相互靠的很近的物體,還有很小的群體 檢測效果不好,這是因為一個網格中只預測了兩個框,並且只屬於一類。

  • 同一類物體出現的新的不常見的長寬比和其他情況時,泛化能力偏弱。

  • 由於損失函式的問題,定位誤差是影響檢測效果的主要原因。尤其是大小物體的處理上,還有待加強。

YOLO9000 YOLOv2

原文下載:https://arxiv.org/pdf/1612.08242v1.pdf
工程程式碼:http://pjreddie.com/darknet/yolo/

摘要

  1. 提出YOLOv2:代表著目前業界最先進物體檢測的水平,它的速度要快過其他檢測系統(FasterR-CNN,ResNet,SSD),使用者可以在它的速度與精確度之間進行權衡。
  2. 提出YOLO9000:這一網路結構可以實時地檢測超過9000種物體分類,這歸功於它使用了WordTree,通過WordTree來混合檢測資料集與識別資料集之中的資料。
  3. 提出了一種新的聯合訓練演算法( Joint Training Algorithm ),使用這種聯合訓練技術同時在ImageNet和COCO資料集上進行訓練。YOLO9000進一步縮小了監測資料集與識別資料集之間的代溝。

簡介

目前的檢測資料集(DetectionDatasets)有很多限制,分類標籤的資訊太少,圖片的數量小於分類資料集(Classification Datasets),而且檢測資料集的成本太高,使其無法當作分類資料集進行使用。而現在的分類資料集卻有著大量的圖片和十分豐富分類資訊。
文章提出了一種新的訓練方法–聯合訓練演算法,這種演算法可以把這兩種的資料集混合到一起。使用一種分層的觀點對物體進行分類,用巨量的分類資料集資料來擴充檢測資料集,從而把兩種不同的資料集混合起來。
聯合訓練演算法的基本思路就是:同時在檢測資料集和分類資料集上訓練物體檢測器(Object Detectors ),用監測資料集的資料學習物體的準確位置,用分類資料集的資料來增加分類的類別量、提升健壯性。
YOLO9000就是使用聯合訓練演算法訓練出來的,他擁有9000類的分類資訊,這些分類資訊學習自ImageNet分類資料集,而物體位置檢測則學習自COCO檢測資料集。

All of our code and pre-trained models are available online at http://pjreddie.com/yolo9000/

BETTER

YOLO一代有很多缺點,作者希望改進的方向是:改善recall,提升定位的準確度,同時保持分類的準確度。
目前計算機視覺的趨勢是更大更深的網路,更好的效能表現通常依賴於訓練更大的網路或者把多種model綜合到一起。但是YOLO v2則著力於簡化網路。具體的改進見下表:
這裡寫圖片描述

  • Batch Normalization

    <p>使用Batch Normalization對網路進行優化,讓網路提高了收斂性,同時還消除了對其他形式的正則化(regularization)的依賴。通過對YOLO的每一個卷積層增加Batch Normalization,最終使得mAP提高了2%,同時還使model正則化。使用Batch Normalization可以從model中去掉Dropout,而不會產生過擬合。</p>
    </li>
    <li>
    <p><strong>High resolution classifier</strong></p>
    
    <p>目前業界標準的檢測方法,都要先把分類器(classifier)放在ImageNet上進行預訓練。從Alexnet開始,大多數的分類器都執行在小於256*256的圖片上。而現在YOLO從224*224增加到了448*448,這就意味著網路需要適應新的輸入解析度。<br>
    為了適應新的解析度,YOLO v2的分類網路以448*448的解析度先在ImageNet上進行Fine Tune,Fine Tune10個epochs,讓網路有時間調整他的濾波器(filters),好讓其能更好的執行在新解析度上,還需要調優用於檢測的Resulting Network。最終通過使用高解析度,mAP提升了4%。</p>
    </li>
    <li>
    <p><strong>Convolution with anchor boxes</strong></p>
    
    <p>YOLO一代包含有全連線層,從而能直接預測Bounding Boxes的座標值。 Faster R-CNN的方法只用卷積層與Region Proposal Network來預測Anchor Box的偏移值與置信度,而不是直接預測座標值。作者發現通過預測偏移量而不是座標值能夠簡化問題,讓神經網路學習起來更容易。<br>
    所以最終YOLO去掉了全連線層,使用Anchor Boxes來預測 Bounding Boxes。作者去掉了網路中一個Pooling層,這讓卷積層的輸出能有更高的解析度。收縮網路讓其執行在416*416而不是448*448。由於圖片中的物體都傾向於出現在圖片的中心位置,特別是那種比較大的物體,所以有一個單獨位於物體中心的位置用於預測這些物體。YOLO的卷積層採用32這個值來下采樣圖片,所以通過選擇416*416用作輸入尺寸最終能輸出一個13*13的Feature Map。 使用Anchor Box會讓精確度稍微下降,但用了它能讓YOLO能預測出大於一千個框,同時recall達到88%,mAP達到69.2%。</p>
    </li>
    <li>
    <p><strong>Dimension clusters</strong></p>
    
    <p>之前Anchor Box的尺寸是手動選擇的,所以尺寸還有優化的餘地。 為了優化,在訓練集(training set)Bounding Boxes上跑了一下k-means聚類,來找到一個比較好的值。<br>
    如果我們用標準的歐式距離的k-means,尺寸大的框比小框產生更多的錯誤。因為我們的目的是提高IOU分數,這依賴於Box的大小,所以距離度量的使用:<br><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161228165353892?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"></p>
    
    <p>通過分析實驗結果(Figure 2),左圖:在model複雜性與high recall之間權衡之後,選擇聚類分類數K=5。右圖:是聚類的中心,大多數是高瘦的Box。<br>
    Table1是說明用K-means選擇Anchor Boxes時,當Cluster IOU選擇值為5時,AVG IOU的值是61,這個值要比不用聚類的方法的60.9要高。選擇值為9的時候,AVG IOU更有顯著提高。總之就是說明用聚類的方法是有效果的。</p>
    </li>
    

這裡寫圖片描述

  • Direct location prediction

    <p>用Anchor Box的方法,會讓model變得不穩定,尤其是在最開始的幾次迭代的時候。大多數不穩定因素產生自預測Box的(x,y)位置的時候。按照之前YOLO的方法,網路不會預測偏移量,而是根據YOLO中的網格單元的位置來預測座標,這就讓Ground Truth的值介於0到1之間。而為了讓網路的結果能落在這一範圍內,網路使用一個 Logistic Activation來對於網路預測結果進行限制,讓結果介於0到1之間。 網路在每一個網格單元中預測出5個Bounding Boxes,每個Bounding Boxes有五個座標值tx,ty,tw,th,t0,他們的關係見下圖(Figure3)。假設一個網格單元對於圖片左上角的偏移量是cx,cy,Bounding Boxes Prior的寬度和高度是pw,ph,那麼預測的結果見下圖右面的公式:<br><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161228203420288?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"></p>
    
    <p>因為使用了限制讓數值變得引數化,也讓網路更容易學習、更穩定。<br>
    Dimension clusters和Direct location prediction,improves YOLO by almost 5% over the version with anchor boxes.</p>
    </li>
    <li>
    <p><strong>Fine-Grained Features</strong></p>
    
    <p>YOLO修改後的Feature Map大小為13*13,這個尺寸對檢測圖片中尺寸大物體來說足夠了,同時使用這種細粒度的特徵對定位小物體的位置可能也有好處。Faster R-CNN、SSD都使用不同尺寸的Feature Map來取得不同範圍的解析度,而YOLO採取了不同的方法,YOLO加上了一個Passthrough Layer來取得之前的某個26*26解析度的層的特徵。這個Passthrough layer能夠把高解析度特徵與低解析度特徵聯絡在一起,聯絡起來的方法是把相鄰的特徵堆積在不同的Channel之中,這一方法類似與Resnet的Identity Mapping,從而把26*26*512變成13*13*2048。YOLO中的檢測器位於擴充套件後(expanded )的Feature Map的上方,所以他能取得細粒度的特徵資訊,這提升了YOLO 1%的效能。</p>
    </li>
    <li>
    <p><strong>Multi-ScaleTraining</strong></p>
    
    <p>作者希望YOLO v2能健壯的運行於不同尺寸的圖片之上,所以把這一想法用於訓練model中。<br>
    區別於之前的補全圖片的尺寸的方法,YOLO v2每迭代幾次都會改變網路引數。每10個Batch,網路會隨機地選擇一個新的圖片尺寸,由於使用了下采樣引數是32,所以不同的尺寸大小也選擇為32的倍數{320,352…..608},最小320*320,最大608*608,網路會自動改變尺寸,並繼續訓練的過程。<br>
    這一政策讓網路在不同的輸入尺寸上都能達到一個很好的預測效果,同一網路能在不同解析度上進行檢測。當輸入圖片尺寸比較小的時候跑的比較快,輸入圖片尺寸比較大的時候精度高,所以你可以在YOLO v2的速度和精度上進行權衡。<br>
    Figure4,Table 3:在voc2007上的速度與精度</p>
    
    <p><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161228203349647?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"></p>
    </li>
    <li>
    <p><strong>Further Experiments</strong></p>
    
    <p><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161228202959505?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161228203009328?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"></p>
    </li>
    

Faster

YOLO使用的是GoogleLeNet,比VGG-16快,YOLO完成一次前向過程只用8.52 billion 運算,而VGG-16要30.69billion,但是YOLO精度稍低於VGG-16。

  • Draknet19

    <p>YOLO v2基於一個新的分類model,有點類似與VGG。YOLO v2使用3*3filter,每次Pooling之後都增加一倍Channels的數量。YOLO v2使用全域性平均Pooling,使用Batch Normilazation來讓訓練更穩定,加速收斂,使model規範化。<br>
    最終的model–Darknet19,有19個卷積層和5個maxpooling層,處理一張圖片只需要5.58 billion次運算,在ImageNet上達到72.9%top-1精確度,91.2%top-5精確度。</p>
    </li>
    <li>
    <p><strong>Training for classification</strong></p>
    
    <p>網路訓練在 ImageNet 1000類分類資料集,訓練了160epochs,使用隨機梯度下降,初始學習率為0.1, polynomial<br>
    rate decay with a power of 4, weight decay of 0.0005 and momentum of 0.9 。訓練期間使用標準的資料擴大方法:隨機裁剪、旋轉、變換顏色(hue)、變換飽和度(saturation), 變換曝光度(exposure shifts)。<br>
    在訓練時,把整個網路在更大的448*448解析度上Fine Turnning 10個 epoches,初始學習率設定為0.001,這種網路達到達到76.5%top-1精確度,93.3%top-5精確度。</p>
    </li>
    <li>
    <p><strong>Training for detection</strong></p>
    
    <p>網路去掉了最後一個卷積層,而加上了三個3*3卷積層,每個卷積層有1024個Filters,每個卷積層緊接著一個1*1卷積層, with<br>
    the number of outputs we need for detection。<br>
    對於VOC資料,網路預測出每個網格單元預測五個Bounding Boxes,每個Bounding Boxes預測5個座標和20類,所以一共125個Filters,增加了Passthough層來獲取前面層的細粒度資訊,網路訓練了160epoches,初始學習率0.001,dividing it by 10 at 60 and 90 epochs,a weight decay of 0.0005 and momentum of 0.9,資料擴大方法相同,對COCO與VOC資料集的訓練對策相同。</p>
    </li>
    

Stronger

在訓練的過程中,當網路遇到一個來自檢測資料集的圖片與標記資訊,那麼就把這些資料用完整的YOLO v2 loss功能反向傳播這個圖片。當網路遇到一個來自分類資料集的圖片和分類標記資訊,只用整個結構中分類部分的loss功能反向傳播這個圖片。
但是檢測資料集只有粗粒度的標記資訊,像“貓“、“ 狗”之類,而分類資料集的標籤資訊則更細粒度,更豐富。比如狗這一類就包括”哈士奇“”牛頭梗“”金毛狗“等等。所以如果想同時在監測資料集與分類資料集上進行訓練,那麼就要用一種一致性的方法融合這些標籤資訊。
再者,用於分類的方法,大多是用softmax layer方法,softmax意味著分類的類別之間要互相獨立的。而盲目地混合資料集訓練,就會出現比如:檢測資料集的分類資訊中”狗“這一分類,在分類資料集合中,就會有的不同種類的狗”哈士奇“”牛頭梗“”金毛“這些分類,這兩種資料集之間的分類資訊不相互獨立。所以使用一種多標籤的model來混合資料集,假設一個圖片可以有多個分類資訊,並假定分類資訊必須是相互獨立的規則可以被忽略。

  • Hierarchical classification

    <p>WordNet的結構是一個直接圖表(directed graph),而不是樹型結構。因為語言是複雜的,狗這個詞既屬於‘犬科’又屬於‘家畜’兩類,而‘犬科’和‘家畜’兩類在wordnet中則是同義詞,所以不能用樹形結構。<br>
    作者希望根據ImageNet中包含的概念來建立一個分層樹,為了建立這個分層樹,首先檢查ImagenNet中出現的名詞,再在WordNet中找到這些名詞,再找到這些名詞到達他們根節點的路徑(在這裡設為所有的根節點為實體物件(physical object))。在WordNet中,大多數同義詞只有一個路徑,所以首先把這條路徑中的詞全部都加到分層樹中。接著迭代地檢查剩下的名詞,並儘可能少的把他們新增到分層樹上,新增的原則是取最短路徑加入到樹中。<br>
    為了計算某一結點的絕對概率,只需要對這一結點到根節點的整條路徑的所有概率進行相乘。所以比如你想知道一個圖片是否是Norfolk terrier的概率,則進行如下計算:<br><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161228234902143?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"></p>
    
    <p>為了驗證這一個方法,在WordTree上訓練Darknet19的model,使用1000類的ImageNet進行訓練,為了建立WordtTree 1K,把所有中間詞彙加入到WordTree上,把標籤空間從1000擴大到了1369。在訓練過程中,如果有一個圖片的標籤是”Norfolk terrier“,那麼這個圖片還會獲得”狗“(dog)以及“哺乳動物”(mammal)等標籤。總之現在一張圖片是多標記的,標記之間不需要相互獨立。<br>
    如Figure5所示,之前的ImageNet分類是使用一個大softmax進行分類。而現在,WordTree只需要對同一概念下的同義詞進行softmax分類。<br>
    使用相同的訓練引數,這種分層結構的Darknet19達到71.9%top-1精度和90.4%top-5精確度,精度只有微小的下降。<br>
    這種方法的好處:在對未知或者新的物體進行分類時,效能降低的很優雅(gracefully)。比如看到一個狗的照片,但不知道是哪種種類的狗,那麼就高置信度(confidence)預測是”狗“,而其他狗的種類的同義詞如”哈士奇“”牛頭梗“”金毛“等這些則低置信度。<br><img alt="這裡寫圖片描述" class="has" src="https://img-blog.csdn.net/20161229000453197?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHlzdGVyaWMzMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast"></p>
    </li>
    <li>
    <p><strong>Datasets combination with wordtree</strong></p>
    
    <p>用WordTree 把資料集合中的類別對映到分層樹中的同義詞上,例如上圖Figure 6,WordTree混合ImageNet與COCO。</p>
    </li>
    <li>
    <p><strong>Joint classification and detection</strong></p>
    
    <p>作者的目的是:訓練一個Extremely Large Scale檢測器。所以訓練的時候使用WordTree混合了COCO檢測資料集與ImageNet中的Top9000類,混合後的資料集對應的WordTree有9418個類。另一方面,由於ImageNet資料集太大了,作者為了平衡一下兩個資料集之間的資料量,通過過取樣(oversampling)COCO資料集中的資料,使COCO資料集與ImageNet資料集之間的資料量比例達到1:4。<br>
    YOLO9000的訓練基於YOLO v2的構架,但是使用3priors而不是5來限制輸出的大小。當網路遇到檢測資料集中的圖片時則正常地反方向傳播,當遇到分類資料集圖片的時候,只使用分類的loss功能進行反向傳播。同時作者假設IOU最少為 .3。最後根據這些假設進行反向傳播。</p>
    
    <p>使用聯合訓練法,YOLO9000使用COCO檢測資料集學習檢測圖片中的物體的位置,使用ImageNet分類資料集學習如何從大量的類別中進行分類。<br>
    為了評估這一方法,使用ImageNet Detection Task對訓練結果進行評估。<br>
    評估結果:<br>
    YOLO9000取得19.7mAP。<br>
    在未學習過的156個分類資料上進行測試,mAP達到16.0。<br>
    YOLO9000的mAP比DPM高,而且YOLO有更多先進的特徵,YOLO9000是用部分監督的方式在不同訓練集上進行訓練,同時還能檢測9000個物體類別,並保證實時執行。</p>
    </li>
    

雖然YOLO9000對動物的識別效能很好,但是對類別為”sungalsses“或者”swimming trunks“這些衣服或者裝備的類別,它的識別效能不是很好,見table 7。這跟資料集的資料組成有很大關係。
這裡寫圖片描述

總結

YOLO v2 代表著目前最先進物體檢測的水平,在多種監測資料集中都要快過其他檢測系統,並可以在速度與精確度上進行權衡。

YOLO 9000 的網路結構允許實時地檢測超過9000種物體分類,這歸功於它能同時優化檢測與分類功能。使用WordTree來混合來自不同的資源的訓練資料,並使用聯合優化技術同時在ImageNet和COCO資料集上進行訓練,YOLO9000進一步縮小了監測資料集與識別資料集之間的大小代溝。

文章還提出了WordTree,資料集混合訓練,多尺寸訓練等全新的訓練方法。

YOLO v3

YOLOv3在Pascal Titan X上處理608x608影象速度達到20FPS,在 COCO test-dev 上 [email protected] 達到 57.9%,與RetinaNet(FocalLoss論文所提出的單階段網路)的結果相近,並且速度快4倍.

YOLO v3的模型比之前的模型複雜了不少,可以通過改變模型結構的大小來權衡速度與精度。

速度對比如下:

  YOLOv3 在實現相同準確度下要顯著地比其它檢測方法快。時間都是在採用 M40 或 Titan X 等相同 GPU 下測量的。

簡而言之,YOLOv3 的先驗檢測(Prior detection)系統將分類器或定位器重新用於執行檢測任務。他們將模型應用於影象的多個位置和尺度。而那些評分較高的區域就可以視為檢測結果。此外,相對於其它目標檢測方法,我們使用了完全不同的方法。我們將一個單神經網路應用於整張影象,該網路將影象劃分為不同的區域,因而預測每一塊區域的邊界框和概率,這些邊界框會通過預測的概率加權。我們的模型相比於基於分類器的系統有一些優勢。它在測試時會檢視整個影象,所以它的預測利用了影象中的全域性資訊。與需要數千張單一目標影象的 R-CNN 不同,它通過單一網路評估進行預測。這令 YOLOv3 非常快,一般它比 R-CNN 快 1000 倍、比 Fast R-CNN 快 100 倍。

改進之處

  •     1.多尺度預測 (類FPN)
  •     2.更好的基礎分類網路(類ResNet)和分類器 darknet-53,見下圖。

    3.分類器-類別預測
        YOLOv3不使用Softmax對每個框進行分類,主要考慮因素有兩個:

  1.             a.Softmax使得每個框分配一個類別(score最大的一個),而對於Open Images這種資料集,目標可能有重疊的類別標籤,因此Softmax不適用於多標籤分類。
  2.             b.Softmax可被獨立的多個logistic分類器替代,且準確率不會下降。
            分類損失採用binary cross-entropy loss.

多尺度預測
    每種尺度預測3個box, anchor的設計方式仍然使用聚類,得到9個聚類中心,將其按照大小均分給3中尺度.

  •         尺度1: 在基礎網路之後新增一些卷積層再輸出box資訊.
  •         尺度2: 從尺度1中的倒數第二層的卷積層上取樣(x2)再與最後一個16x16大小的特徵圖相加,再次通過多個卷積後輸出box資訊.相比尺度1變大兩倍.
  •         尺度3: 與尺度2類似,使用了32x32大小的特徵圖.

參見網路結構定義檔案yolov3.cfg

基礎網路 Darknet-53

 

darknet-53

仿ResNet, 與ResNet-101或ResNet-152準確率接近,但速度更快.對比如下:

主幹架構的效能對比

 

檢測結構如下:

YOLOv3在[email protected]及小目標APs上具有不錯的結果,但隨著IOU的增大,效能下降,說明YOLOv3不能很好地與ground truth切合.

邊框預測

圖 2:帶有維度先驗和定位預測的邊界框。我們邊界框的寬和高以作為離聚類中心的位移,並使用 Sigmoid 函式預測邊界框相對於濾波器應用位置的中心座標。

仍採用之前的logis其中cx,cy是網格的座標偏移量,pw,ph是預設的anchor box的邊長.最終得到的邊框座標值是b*,而網路學習目標是t*,用sigmod函式、指數轉換。

優點

  •     快速,pipline簡單.

  •     背景誤檢率低。

  •     通用性強。YOLO對於藝術類作品中的物體檢測同樣適用。它對非自然影象物體的檢測率遠遠高於DPM和RCNN系列檢測方法。

但相比RCNN系列物體檢測方法,YOLO具有以下缺點:

  •     識別物體位置精準性差。

  •     召回率低。在每個網格中預測兩個box這種約束方式減少了對同一目標的多次檢測(R-CNN使用的region proposal方式重疊較多),相比R-CNN使用Selective Search產生2000個proposal(RCNN測試時每張超過40秒),yolo僅使用7x7x2個.

YOLO v.s Faster R-CNN

  1. 統一網路:
    YOLO沒有顯示求取region proposal的過程。Faster R-CNN中儘管RPN與fast rcnn共享卷積層,但是在模型訓練過程中,需要反覆訓練RPN網路和fast rcnn網路.
    相對於R-CNN系列的"看兩眼"(候選框提取與分類,圖示如下),YOLO只需要Look Once.
    R-CNN pipline
  2. YOLO統一為一個迴歸問題,而R-CNN將檢測結果分為兩部分求解:物體類別(分類問題),物體位置即bounding box(迴歸問題)。

 


參考

 

YOLO v1