1. loss 函式的優化

籠統來講：

設計loss函式是為了衡量網路輸出值和理想值之間的差距，儘管網路的直接輸出並不顯式的包含權重因子，但是輸出是同權重因子直接相關的，因此仍然可以將loss函式視作在權重因子空間中的一個函式。

可以將loss 記為E(w)，這裡為了便於說明，省去了偏值項，正則項等等，僅僅將loss認為是w的函式，

訓練網路：

對網路訓練的目標在數學上的顯示錶現就是使得loss取值最小化，這個問題就變成了在權重空間w中求loss全域性極值的一個優化問題，對於這種問題，通常的解決方案是對loss求w的偏導

2. 鏈式推導過程

假定如下圖示的神經元結構： 

很顯然對於E的w偏導數，可以利用鏈式法則得到如下表示：（根據上述引用材料的記載Etotal由out1和out2構成，具體數值由材料所給出）

outo1是由sigmoid啟用函式給出，因此如下所示：

由上圖所示：

此時可以得到關於E和w5的偏導公式的各個組元，然後將資料代入，可以得到偏導數的值

在往常的一些記載中會使用如下的記法來表示：

所以最終的偏導可以記為：

根據梯度下降演算法的思路，為了修正w5，認為對w5的更新項，應當如下式表示：

其中偏導前的係數為人為設定的常數，這裡設定為0.5，這樣整個迴路就完成了對權重因子w5的更新