Focal Loss 反向求導及darknet上的實現

Focal Loss 可以解決不平衡分類問題，是在交叉熵損失函式上的擴充套件。詳見，論文：Focal Loss for Dense Object Detection。
該文，主要推導FL在softmax函式下的求導，以及記錄在darknet上的實現。

FL損失函式如下：

FL(pt)=−α(1−pt)γlog(pt)$$FL(p_t)=-\alpha (1-p_t{)}^{\gamma }log(p_t)$$
其中pt$p_t$為：
pt={p,1−p,if y==1otherwise $$p_t=\{\begin{array}{ll}p,& \text{if }y==1\\ 1-p,& \text{otherwise }\end{array}$$

softmax公式：

pi=ex

i∑ek$$p_i=\frac{e^{x_i}}{\sum e^k}$$

我們的目標得到x對FL的導數：

dFLdxi=dFLdpi∗dpidxi$$\frac{dFL}{d{x}_i}=\frac{dFL}{d{p}_i}\ast \frac{d{p}_i}{d{x}_i}$$

又，

dFLdpt=−α(d(1−pt)γdpt∗log(pt)+(1−pt)γ∗dlog(pt)dpt)=−α(−γ(1−pt)γ−1log(pt)+(1−pt)γ1pt)=−α(−γ(1−pi)γ−1log(pi)+(1−pi)γ1pi)because(y==1)(1)(2)(3)$$\begin{array}{}\text{(1)}& \frac{dFL}{d{p}_t}& =-\alpha \left(\frac{d(1-p_t{)}^{\gamma }}{d{p}_t}\ast log(p_t)+(1-p_t{)}^{\gamma }\ast \frac{dlog(p_t)}{d{p}_t}\right)\text{(2)}& =-\alpha (-\gamma (1-p_t{)}^{\gamma -1}log(p_t)+(\end{array}$$

1−pt)γ1pt)(3)=−α(−γ(1−pi)γ−1log(pi)+(1−pi)γ1pi)because(y==1)

xi$x_i$ 對softmax的求導，分兩種情況：