5.1 Cost Function

假設訓練樣本為：{(x¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),...(x^(m),y^(m))}

L = total no.of layers in network

s_L= no,of units(not counting bias unit) in layer L

K = number of output units/classes

如圖所示的神經網絡，L = 4，s1 = 3，s2 = 5，s3 = 5, s4 = 4

邏輯回歸的代價函數：

神經網絡的代價函數：

5.2 反向傳播算法 Backpropagation

關於反向傳播算法的一篇通俗的解釋http://blog.csdn.net/shijing_0214/article/details/51923547

5.3 Training a neural network

隱藏層的單元數一般一樣，隱藏層一般越多越好，但計算量會較大。

吳恩達機器學習第5周Neural Networks（Cost Function and Backpropagation）