【參考文獻】 【1】《面向機器智慧的TensorFlow實踐》4.7

假設存在網路結果如下

各個層輸出定義

$L_1 = sigmoid(w_1 \cdot x)$ $L_2 = sigmoid(w_2 \cdot L_1)$ $L_3 = sigmoid(w_3 \cdot L_2)$

定義整個網路最終的損失函式為 $loss = Loss(L_3, y_{expect})$

對損失函式求$w_3$偏導數，得到

$\dfrac{\partial loss}{\partial w_3}=Loss'(L_3, y_{expect})sigmoid'(w_3, L_2)L_2$

同理我們得到對$w_2$和$w_1$的偏導數 $\frac{\mathrm{\partial }loss}{\mathrm{\partial }{w}_2}=Los{s}^{\mathrm{\prime }}(L_3,y_{expect})sigmoi{d}^{\mathrm{\prime }}($

$\dfrac{\partial loss}{\partial w_1}=Loss'(L_3, y_{expect})sigmoid'(w_3, L_2)sigmoid'(w_2, L_1)sigmoid'(w_1, x)x$

綜上所述，我們將整個求導公式簡寫 $\dfrac{\partial loss}{\partial w_3}=Loss'L_3'L_2$ $\dfrac{\partial loss}{\partial w_2}=Loss'L_3'L_2'L1$ $\dfrac{\partial loss}{\partial w_1}=Loss'L_3'L_2'L1x$

可以看到規律在反向求導中，每一次計算都可以重用前一層的計算結果，這也就是所謂的反向傳播演算法。