深度剖析目標檢測演算法YOLOV4
深度剖析目標檢測演算法YOLOV4
目錄
-
簡述 yolo 的發展歷程
-
介紹 yolov3 演算法原理
-
介紹 yolov4 演算法原理（相比於 yolov3，有哪些改進點）
-
YOLOV4 原始碼日誌解讀
yolo 發展歷程
採用卷積神經的目標檢測演算法大致可以分為兩個流派，一類是以 R-CNN 為代表的 two-stage，另一類是以 YOLO 為代表的 one-stage，
R-CNN 系列的原理：通過 ROI 提取出大約 2000 個候選框，然後每個候選框通過一個獨立的 CNN 通道進行預測輸出。
R-CNN 特點：準確度高，速度慢，所以速度成為它優化的主要方向。
YOLO 系列的原理：將輸入圖片作為一個整體，通過 CNN 通道進行預測輸出。
YOLO 特點：速度快，準確度低，所以準確度成為它優化的主要方向。
經過一系列的優化與改進，特別是今年 4 月份推出的 YOLOV4，使得它在準確度方面得到了大幅度的提升，另外，它還能達到實時檢測（在 GPU 加持的情況下）。
下圖是 YOLOV4 原始碼的頁面，github: https://github.com/AlexeyAB/darknet
它的 Star 達到 13400，可以說，知名度不是一般的高，在目標檢測領域，好像只有 YOLOV3 超過它了，達到了 19000 ，是不是值得大家花點時間精力去探索一下呢 ？
這裡需要說明一下的是 YOLOV3（美國大神），YOLOV4 （俄羅斯大神）作者不是同一個人，在 19 年的時候，YOLOV3 作者發表了一個宣告：有些組織將他的演算法用於
軍事和窺探個人隱私方面，使得他在道德上很難接受，他將不再進行 CV 的研究與更新。當然，這是一個小插曲了，這裡，我們看到，YOLOV4 作者更新是非常頻繁的，
commits 達到了 2000 + 。下面我們看看官方給出的實驗結果。
這裡是以 COCO 作為測試資料集，相比於 YOLOV3，YOLOV4 在精度方面提升了 10%，FPS(frame per second) 提升了 12%。
順便說一句，YOLOV3 的作者也是認可 YOLOV4 的改進的，在 YOLOV3 的官網 https://github.com/pjreddie/darknet 也是給出了
YOLOV4 的連結。
yolov3 演算法原理
這裡借用某位大神畫的結構圖，因為 YOLOV4 是在 YOLOV3 的基礎上改進的，所以我們需要先介紹一下 YOLOV3，
這裡可能需要一些神經網路的知識，比如卷積，池化，全連線，前向傳播，反向傳播，損失函式，梯度計算，權重引數更新，如果對
這些不是很清楚，可以看我之前的部落格（卷積神經網路（CNN）詳解與程式碼實現 https://www.cnblogs.com/further-further-further/p/10430073.html）。
YOLOV3 原理我在上上一篇部落格（深度剖析YOLO系列的原理 https://www.cnblogs.com/further-further-further/p/12072225.html）有過介紹，
這裡我就介紹一下大家容易忽略，或者是比較難理解的點：
- 輸入圖片尺寸可變
輸入圖片尺寸是 608 * 608，當然，這個尺寸是可以改變的，它只需要滿足是 32 的倍數，因為在經過後面的網路結構的時候，圖片尺寸縮小的最大倍數是 32 倍，
這可以從它的輸出 19 * 19 看出來。
- 主幹網路
採用的是 darknet 53 層網路結構，去掉了全連線層，53 - 1 = 52
52 = 1+(1+2*1)+(1+2*2)+(1+2*8)+(1+2*8)+(1+2*4)
為什麼要去掉全連線層 ？
解答：全連線的本質是矩陣的乘法運算，會產生固定尺寸的輸出，而 YOLOV3 是需要多尺寸的輸出的，所以要去掉全連線層。
CBL ：表示基礎的卷積模組，是由一個 Conv 卷積層 + BN 批量歸一化層 + relu 非線性啟用函式層組成。
為什麼在 CBL 裡沒有池化層 pooling ？
解答：池化層有兩種實現方式，最大值池化和平均值池化，他們都有一個缺點，會造成資訊的明顯丟失（相比於卷積實現池化的功能來說，改變滑動視窗的步長） 。
Res Unit（殘差單元） ：表示將上一層的輸出一分為二，一部分通過兩個基礎卷積模組得到輸出，與另一部分進行求和，這樣就能使得輸出的殘差不可能為 0，
從而有效的防止梯度消失或者梯度爆炸。
ResX ： 是由不同的 Res Unit 組成。
多尺寸輸出：用到 2 個上取樣，注意 Concat 和 Add 的區別。
上取樣原理：以特徵圖相鄰畫素值來預測中間位置的畫素值，然後以這個值插入到中間位置，實現特徵圖尺寸的翻倍。
Concat : 特徵圖張量的拼接，拼接後尺寸不變，深度改變。
Add ：特徵圖對應位置畫素值的求和，求和後的尺寸和深度不發生改變。
- 輸出
有三個輸出，19 * 19 * 255，38 * 38 * 255，76 * 76 * 255
這三個輸出有著怎樣的物理含義 ？
解答：將輸入圖片網格化，網格化後的大小是 19 *19, 38 * 38，76 * 76，每個網格化後的小方格，也就是一個 grid cell，將要
預測 3 個 bounding box，每個 bounding box = 1 個置信度 + 4 個位置資訊 + 類別總數（COCO 資料集就是 80）
為什麼每個 grid cell 要預測 3 個 bounding box ？
解答：這樣來理解，比如說，一個人站在一輛車的前面，從遠處看，這個人和這輛車中心點是完全重合的，但是我們能夠看清楚
人和車，但是如果中心點重合的物件超過 3 個，那麼我們很有可能對第 4 個，第 5 個以及後面的物件就完全看不清楚了，
所以，這裡的 3 表示物件中心點重疊的最大值。
bounding box 如此之多，如何確定最佳的 bounding box ?
解答：採用的 NMS（Non Maximum Suppression）非極大值抑制演算法來去除重疊。
NMS 演算法原理：> 將預測輸出的 bounding boxes 放入到左邊的列表中，以置信度來進行降序排列，找到置信度最大的 bounding box ，
比如說這裡的 dog1，將 dog1 移出左邊列表到右邊列表中;
> 遍歷左邊列表，求出每個 bounding box 與 dog1 的交併比（IoU = Intersection over Union 兩個框的交集/並集），
當然，要提前設定一個閾值（一般是 0.5），大於 0.5表示左邊 bounding box 與 dog1 有高度的重疊，將這個 bounding box 去掉；
> 重複之前的操作，直至左邊列表為空，右邊列表得到的 bounding box 就是最佳的結果；
檢測匹配問題，為什麼 19 * 19 => 大物件 ？ 38 * 38 => 中等物件 ? 76 * 76 => 小物件 ?
解答：輸入圖片尺寸是固定的，比如說這裡的 608 * 608，將它網格化，網格化就有三種情況：19 * 19，38 * 38，76 * 76，那麼是不是 19 * 19 網格化後
的小方格的寬和高要比其他兩種要大，這也就意味著它的感受視野是最大的，所以它就能檢測出大物件，而其他兩個的對應關係也是相同的道理。
yolov4 演算法原理
還是借用某位大神畫的結構圖，記不清名字了，是在抱歉。
乍一看，是不是跟 YOLOV3 長得很像，只不過比 YOLOV3 更復雜了一些，這裡 YOLOV4 的作者將結構劃分為以下四個部分：
Input，Backbone，Neck，Head，下面就來看看每個部分都做了哪些改進。
- Input 改進點
採用 Mosaic 實現資料增強。
Mosaic 演算法原理：在輸入圖片集中隨機選取 4 張圖片進行隨機縮放，隨機裁剪，隨機扭曲，然後將他們拼接起來，
其目的就是豐富樣本資料集。
- Backbone 改進點
採用 CSPNet（Cross Stage Partial Network）網路結構，它其實是在殘差網路的基礎上發展起來的。
具體改進點：
> 用 Concat 代替 Add，提取更豐富的特徵。
之前介紹過 Concat 操作後，特徵圖的尺寸不變，深度會增加，而 Add 操作後尺寸和深度都不改變，從這個意義上說，用 Concat 代替 Add，就能夠提取更豐富的特徵。
> 引入 transition layer （1 * 1conv + 2 * 2pooling），提取特徵，降低計算量，提升速度。
為什麼引入 1 * 1conv，能夠降低計算量，提升速度 ？
解答：這裡我舉一個例項來說明，輸入圖片大小是 56 * 56 * 256，要求得到輸出大小是 28 * 28 * 512，這裡就有兩種實現方式：
一次卷積方式，它的卷積核引數個數是 117 萬；另一種是二次卷積方式，引入了 1 * 1 卷積，它的卷積核引數個數是 62 萬，
相比於一次卷積方式，它的卷積核引數個數降低了一倍。
> 將 Base layer 分為兩部分進行融合，提取更豐富的特徵。
將 Base layer 一分為二，一部分通過類似殘差網路得到的輸出與另一部分進行 Concat 操作，將操作後的結果通過 Transition Layer。
- Backbone 改進點
用 dropblock 取代 dropout
dropout 作用：防止過擬合，
dropout 缺點：每次訓練時隨機去掉的神經元可以通過相鄰的神經元來預測，因為隨著網路層數的增加，神經元之間的相關性是越來越強。
dropblock：每次訓練時隨機去掉一整片區域，這樣就能組合更多不一樣的網路，從而表現出更好的泛化作用。
- Neck 改進點
FPN（Feature pyramid networks） + PANet（Path Aggregation Network）
它其實是在 YOLOV3 的基礎上增加了一個自底向上的 PANet 結構，特徵圖的尺寸是通過下采樣得到的，而下采樣是通過卷積的方式實現的（改變滑動視窗的步長）。
- Head 改進點
用 CIoU Loss 取代 Iou Loss
IoU loss 中 IoU 交併比，兩個框的交集/並集，有兩個缺點：
> 無法反應兩個的距離
例如 狀態 1，兩個框不相交，無論怎樣移動兩個框，IoU = 0。
> 無法區分兩者相交的情況
例如 狀態 2 和 3，兩個框相交的情況完全不一樣，但是 IoU 相同。
CIoU Loss 的思想：第一步，在兩個框最外層再畫一個最小的矩形框，求出這個框的對角線的距離，這個距離就能衡量兩個框的距離；
第二步，求出兩個框中心點的歐式距離，這歐式距離就能衡量兩者的相交情況。
CIoU Loss 數學表示式如上，它能有效的解決 IoU Loss 存在的問題。
YOLOV4 原始碼日誌解讀
- 網路層數：
YOLOV4 總共層數有 161 層，YOLOV3 是 106 層，網路層數增加是非常明顯的。
從這個圖可以看出，YOLOV4 採用了大量的 1 * 1 卷積，之前介紹過，採用 1 * 1 卷積，是能降低計算量，提升速度的。
- 每列含義
layer : 每層操作名稱
filters ：卷積核的深度
size/strd(dil)：卷積核的尺寸/滑動視窗的步長
input：輸入圖片的大小
output：輸出圖片的大小
- 代表性層的含義（需要注意的是，這裡隱藏了一個前提條件 padding = 1）
> 第 0 層 conv 卷積操作，表示 608 * 608 * 3 & 3 * 3 * 32 => 608 * 608 * 32，這裡 32（輸出特徵圖尺寸深度）
是由卷積核的深度決定的。
> 第 1 層 conv 還是卷積操作，表示 608 * 608 * 32 & 3 * 3 * 64 => 304 * 304 * 64，大家發現沒有，輸出特徵圖的尺寸
相比於輸入特徵圖的尺寸，降低了一倍，這是因為滑動視窗的步長變成了 2 。
> 第 7 層 Shortcut，它其實等價於 Add 操作，也就是第 6 層的輸出與第 4 層的輸出進行卷積，
304 * 304 * 64 & 304 * 304 * 64 => 304 * 304 * 64，輸出特徵圖的尺寸和深度都沒有改變。
> 第 9 層 route 操作，它其實等價於 Concat 操作，也就是第 8 層的輸出與第 2 層的輸出進行卷積，
304 * 304 * 64 & 304 * 304 * 64 => 304 * 304 * 128，輸出特徵圖尺寸不變，深度增加，為兩個輸入特徵圖深度之和。
相信大家理解了這些層的含義之後，對於後面的其他層的理解，就比較容易了，下面看看它最後的輸出：
76 * 76 * 255, 38 * 38 * 255，19 * 19 * 255，這跟之前介紹 YOLOV4 結構圖的輸出是相一致的。
引用
https://bbs.cvmart.net/topics/2365
https://pjreddie.com/media/files/papers/YOLOv3.pdf
https://arxiv.org/pdf/2004.10934.pdf
https://arxiv.org/pdf/1911.11929v1.pdf
https://arxiv.org/pdf/1803.01534.pdf
不要讓懶惰佔據你的大腦，不要讓妥協拖垮了你的人生。青春就是一張票，能不能趕上時代的快車，你的步伐就掌握在你的腳下。
&n