交叉熵損失函式

作者在開頭舉了一個生動的例子來說明人類在學習中的自然過程，總結來說就是人類在學習過程中所表現出的錯誤越嚴重學習速度越快的現象，而先前作者介紹的神經網路的學習過程卻並不完全是這樣的，從作者文中給出的兩個實時計算過程的動畫可以輕易看出在w和bias都較大的時候，損失函式的下降在學習開始的一段時間內下降非常緩慢，直到w和bias降到1以下的時候下降速度開始大幅變快，這樣的結果並不自然，直覺來看，應該在誤差越大的時候越容易學習才對呀？這是怎麼回事呢？

作者在先前的文中使用的損失函式是 C=(y−a)2/2
再來看看梯度計算
再來看看sigmoid函式的影象：

通過影象可以看出在 sigmoid(z) 非常接近1的時候，其導數非常接近0，而歐氏距離損失函式的導數是一個最大為1的線性函式，從而導致w和bias的梯度非常小，造成每次迭代對權重的更新幅度非常小，換句話說也就是學習速度非常慢了。

為了改善學習的過程，使得誤差越大的時候學習速度越快，作者介紹了交叉熵損失函式：

交叉熵損失函式有一個非常有用的性質，它的導數為：
(y−a)/(a∗(a−1))
你可以看出，在a接近1的時候，也就是sigmoid函式的導數非常小的時候，交叉熵損失函式的導數會變得非常大，由它來對梯度進行一個補償，使得在誤差很大但結點飽和的時候仍然能有一個比較滿意的梯度來進行學習。