往期回顧

100天搞定機器學習|（Day1-36）

100天搞定機器學習|Day37無公式理解反向傳播演算法之精髓

上集我們學習了反向傳播演算法的原理，今天我們深入講解其中的微積分理論，展示在機器學習中，怎麼理解鏈式法則。

我們從一個最簡單的網路講起，每層只有一個神經元，圖上這個網路就是由三個權重和三個偏置決定的，我們的目標是理解代價函式對這些變數有多敏感。這樣我們就知道怎麼調整這些變數，才能使代價函式下降的最快。

我們先來關注最後兩個神經元，我們給最後一個神經元一個上標L，表示它處在第L層。給定一個訓練樣本，我們把這個最終層啟用值要接近的目標叫做y，y的值為0/1。那麼這個簡易網路對於單個訓練樣本的代價就等於(a(L)−y)2。對於這個樣本，我們把這個代價值標記為C0。

之前講過，最終層的啟用值公式：

換個標記方法：

整個流程就是這樣的：

當然了，a(L−1)還可以再向上推一層，不過這不重要。

這些東西都是數字，我們可以想象，每個數字都對應數軸上的一個位置。我們第一個目標是來理解代價函式對權重

的微小變化有多敏感。換句話說，求C0對

的導數。 的微小變化導致 產生變化，然後導致 ，最終影響到cost。

我們把式子拆開，首先求 的變化量比 的變化量，即 關於 的導數；同力考慮 變化量比 的變化量，以及最終的c的變化量比上直接改動 產生的變化量。

這就是鏈式法則

開始分別求導

這只是包含一個訓練樣本的代價對

的導數，
總的代價函式是所有訓練樣本代價的總平均，它對 的導數就要求出這個表示式對每一個訓練樣本的平均，

這只是梯度向量的一個分量，梯度由代價函式對每一個權重和偏置求導數構成。

當然了，對偏置求導數也是同樣的步驟。只要把 替換成

同樣的，這裡也有反向傳播的思想

到此，我們可以方向應用鏈式法則，來計算代價函式對之前的權重和偏置的敏感程度

到這裡，我們可以看每層不止一個神經元的情況了，其實並不複雜太多，只是多寫一些下標罷了。

這些方程式和之前每層只有一個神經元的時候本質上一樣的

代價函式也類似

不同的是代價函式對（L-1）層啟用值的導數
因為此時，啟用值可以通過不同的途徑影響cost function，

只要計算出倒數第二層代價函式對啟用值的敏感度，接下來重複上述過程就行了。至此，反向傳播介紹完畢。

相關推薦