深度學習中的反向傳播訓練過程，是優化權值矩陣的關鍵過程，下面記錄自己學習體會。
卷積神經網路經過前面的運算之後，在訓練的過程中，由於我們知道每一個樣本的正確結果，所以可以得到一個損失函式。這個損失函式很關鍵，反向傳播的訓練過程就是通過他來實現的。
得到損失函式之後，我們就希望損失函式的值越小越好。這就轉化成一個微積分中的優化問題，即，要求在什麼情況下損失函式的值最小，也就是要求損失函式的最小值。
我們知道一個函式的導函式，表示函式在某個點上的瞬間變化率，我們求損失函式對權重矩陣的每一維引數的偏導數，就可以算出這一維引數對損失函式變化的影響效率，用權重引數Wi-(學習步長)*（影響值），
（如果在某個區間上導函式的值為負，則在這個區間上原函式是單調遞減的，相反則原函式是單調遞增的，因此，這裡導函式的值應該是負的）
（影響效率大的地方，我們進行較大的調整，影響效率小的地方，進行較小的調整。這樣我們就能使損失函式以較快的速度趨於一個最小值，也就達到了我們優化的目標。）就得到了這一維引數新的值，這樣經過反覆學習，就可以使損失函式逐步趨於最小值，也就是使網路的估計值更加準確。
具體運算過程可參考下面的文章，公式推到的過程講解的比較淺顯易懂。