目標檢測之focal loss
https://blog.csdn.net/dreamer_on_air/article/details/78187565
我的批註：作者沒有考慮負樣本的情況，
當正樣本被預測正確時，其loss下降為0；當正樣本預測錯誤時，其loss有稍微的下降；
也就是，對於容易訓練的樣本，其loss趕緊下降；對於不好訓練的樣本，採用loss好好抓一下特徵。
Focal Loss for Dense Object DetectionTsung-Yi Lin Priya Goyal Ross Girshick Kaiming He Piotr Dollar´Facebook AI Research (FAIR)，最近出的一篇做目標檢測的工作，本質上是個利用loss function解決樣本imbalance問題的工作。
Motivation
作者說是為了探究為什麼ssd、yolo之類的one-stage目標檢測網路不如rcnn系列的two-stage檢測網路框架效果好，提出了原因在於one-stage訓練的過程中沒有two-stage的RPN過程來做cascade，所以會有大量的簡單負樣本在分類器的訓練過程中導致訓練模型結果不好。採用online hard sample mining（OHEM）的方式是比較通用的方法來解決imbalance的問題，作者設計了一個叫做focal loss的loss function來解決同樣的問題，可以認為是OHEM的一個替代方案。
基本原理
先上個網路結構圖，目前主要的one-stage檢測框架如下，一個FPN網路帶不同scale和shape的anchor，然後不同scale的feature map的組合接出兩個子網路，一個用來回歸bbox的位置，一個用來回歸這個位置所對應的物體分類結果用於判定是否是一個誤檢。上面提到的樣本不均衡的問題就是在這個class subnet上出現的，這會導致這個子網路的預測結果不夠好，使得整體檢測結果下降。
可以看到在原有的基礎上增加了一個預測概率p和超引數r，其中p的存在就是如果這個樣本預測的已經很好了（也就是p->1）那麼這個樣本產生的loss就接近於0，r的作用是對這個接近的速度做控制，把loss畫出來如下圖：
可以看出r越大，預測越正確的樣本loss下降的越快，也就是這部分樣本對於loss的貢獻就越小。其實這個工作原理到此就差不多了，作者起了個挺好聽的名字叫RetinaNet，下面是一些實現細節：
1. class subnet和regression subnet用了更深的3*3 conv層
2. focal loss初始化的時候加了bias：b = − log((1 − π)/π),其中π = 0.01，用來防止最開始的幾輪迭代時梯度不穩定
3.8塊GPU minibatch=16（但是對比實驗的OHEM的batch size最小也是128，不知道這個會不會有什麼影響）
實驗結果
對不同的超引數做了對比，也跟OHEM以及state-of-art在COCO上做了對比，結果如下：
Table1對比了不同的超引數a和r對結果的影響，選了個最好的組合，並且在這個組合下對比了和OHEM的效果，從結果看提升還是很明顯的。
table2對比了和目前主流方法的對比，值得注意的是table2的結果比table1還要高一些，作者解釋說是多訓了50%的輪數。。。
整體總結
工作的idea是比較簡單的，paper發的看上去也比較著急，實驗不太solid，裡面文字錯誤也有一些，應該是個發出來佔坑的paper，一些比較本質的問題其實沒有回答的很好。focal loss的本質還是對不同的樣本做不同的weight，與OHEM是不同的weight分配方式。作者論文裡解釋說OHEM單純的去掉大部分的簡單負樣本，不如focal loss把所有樣本都考慮進來要好，這個邏輯不太成立，focal loss其實也是希望把簡單負樣本的weight降低，為什麼降成0就不夠好，這個事情沒能通過實驗加以證明（比如在focal loss的基礎上把排名靠後的樣本weight置成0）。和OHEM相比其合理性可能在於一個soft的方式來分配weight通常是要更合理更可tuning的方式，同樣的思想應該也可以用到metric-learning之類的需要hard negtive sampling的方法中。
閱讀更多
---------------------
作者：迷途中一個小書童
來源：CSDN
原文：https://blog.csdn.net/dreamer_on_air/article/details/78187565
版權宣告：本文為博主原創文章，轉載請附上博文連結！