FAIR. ICCV2017 Oral Kaiming He & RBG

1.Motivation

一直以來，one-stage detector都以快著稱，yolo剛釋出的時候表明了是主打速度的，但是這些one-stage detector的精度要比two-stage detector，比如faster rcnn差不少。本文的目的就是為了探討為什麼one-stage detector相比two-stage detector精度要差。

2.Contribution

本文的貢獻在於指出了one-stage detector精度不高的原因在於extreme forground-background class imbalance，這種不平衡導致了訓練的時候存在大量的easy examples（包括easy positive和easy negative，但主要是easy negative），這些easy example雖然每一個的loss會比較小，但是因為數量巨大，主導了最終的loss，導致最後訓練出來的是一個degenerated model。

為此，作者提出了一個dynamically scaled cross entropy loss，即focal loss來替換原來detector classification部分的standard cross entropy loss。通過降低訓練過程中easy example的權重，提高了模型的訓練效果，使得one-stage detector在精度上能夠達到乃至超過two-stage detector。

3.Focal Loss

3.1standard cross entropy loss

原來的分類loss是各個訓練樣本交叉熵的直接求和，也就是各個樣本的權重是一樣的。如下圖所示：

CE表示cross entropy，p表示預測樣本屬於1的概率，y表示label，y的取值為{+1,-1}，這裡僅僅以二分類為例，多分類分類以此類推。
為了表示簡便，我們用p_t表示樣本屬於true class的概率。所以(1)式可以寫成

我們可以將cross entropy loss的曲線畫出來，如下圖最上面這根藍線所示：

從藍線我們可以看出來，對於well-classified樣本(true class的預測概率大於0.6為例），他們的loss仍然不算小。對於yolo/ssd這類one-stage detector，他們沒有rpn這類proposal網路，而是對影象上densely sampled window進行檢測，這樣的話負樣本的數量會遠遠超過正樣本的數量，而負樣本里面絕大多數又是easy example，也就是說，對於one-stage detector來說，雖然單個easy example的loss不大，但是所有easy example的loss加起來就會遠遠超過hard example的loss了。當hard example的loss對於模型的更新沒有什麼影響的時候，得到的分類模型的分類邊界往往不夠準確，對於hard example比較容易分錯。

3.2balanced cross entropy

既然one-stage detector在訓練的時候正負樣本的數量差距很大，那麼一種常見的做法就是給正負樣本加上權重，負樣本出現的頻次多，那麼就降低負樣本的權重，正樣本數量少，就相對提高正樣本的權重，如下式所示：

CE(pt)=−αtlog(pt)

3.3focal loss definition

作者實際上解決的是easy example和hard example不均衡的問題，這個和訓練時候正負樣本不均衡是兩碼事，因為正負樣本里面都會有簡單的樣本和容易分錯的樣本。

作者提出的focal loss，相當於是對各個樣本加上了各自的權重，這個權重是和網路預測該樣本屬於true class的概率相關的，顯然，如果網路預測的該樣本屬於true class的概率很大，那麼這個樣本對網路來說就屬於easy(well-classified) example。如果網路預測的該樣本屬於true class的概率很小，那麼這個樣本對網路來說就屬於hard example。為了訓練一個有效的classification part，顯然應該降低絕大部分easy example的權重，相對增大hard example的權重。作者提出的focal loss如下式所示：

FL(pt)=−(1−pt)γlog(pt)
引數γ大於0。當引數γ=0的時候，就是普通的交叉熵，作者的實驗中發現\gamma=2效果最高。可以看到，當γ一定的時候，比如等於2，一樣easy example(pt=0.9)的loss要比標準的交叉熵loss小100+倍，當pt=0.968時，要小1000+倍，但是對於hard example(pt < 0.5)，loss最多小了4倍。這樣的話hard example的權重相對就提升了很多。實際實驗中，作者和3.2一樣，對正負樣本又做了一個reweighting
FL(pt)=−αt(1−pt)γlog(pt)

4.Experiments

作者為了驗證自己的觀點，提出了一個RetinaNet，採用的是Resnet+FPN作為backbone，cls和reg兩路subnet分別加在各個Pyramid level上，如下圖所示：

注意到這裡用的class subnet和box subnet相比ssd都要更深一點，並且兩個subnet沒有share卷積層的引數。作者的實驗結果如下圖所示：

所有的實驗都是在COCO上做的。
(a)對於3.2說明的balanced cross entropy，當正樣本的權重α設定為0.75的時候，能達到最高的AP。
(b)對於固定的α，當γ等於2的時候能達到最高的AP
(c)選擇2scale,3aspect ratio效果最好
(d)OHEM相當於是在訓練的時候只選擇hard example進行訓練，作者將自己的方法和OHEM進行對比，同時加入了一組使用OHEM，並通過resample的方式保證正負樣本比例1:3的組，可以看到，作者的對hard example和easy example reweighting的方法要比OHEM這種只選擇hard example去訓練的方法要好。
(e)作者對比了自己的模型在不同的深度和訓練影象scale下的speed/accuracy

為了更好的觀察focal loss在reweighting example的效果，作者隨機選取了10^7個負樣本window和10^5個正樣本window，然後通過網路之後分別計算這些正負樣本的loss，最後，分別對於正樣本和負樣本，把所有window的loss進行歸一化(softmax)，畫出累計loss隨樣本數目的增長曲線，如下圖所示：

可以看到，對於正樣本而言，增大\gamma對於loss的分佈影響不大，但是對於負樣本來說，當\gamma=2的時候，絕大部分的負樣本對於loss和的貢獻都可以忽略，所有的loss都集中在很小部分的hard example上。所以說作者提出的focal loss能夠讓網路focus learning on hard examples and down-weight the numerous easy negatives。

最後，放一張作者加了訓練的trick之後在COCO上的結果對比圖

作者的這個single-model，訓練的時候除了正常的random flip，還加上了scale jitter，延長了訓練時間，以及使用了更大scale的訓練影象，最終能達到39.1 AP。應該說，如果除掉這些訓練的trick以及FPN自帶的加成的話，focal loss也能夠使得one-stage detector和two-stage detector的精度有的一拼。