1.神經元

神經元和感知器本質上是一樣的，只不過我們說感知器的時候，它的啟用函式是階躍函式；而當我們說神經元時，啟用函式往往選擇為sigmoid函式或tanh函式

2.神經網路的訓練

現在，我們需要知道一個神經網路的每個連線上的權值是如何得到的。我們可以說神經網路是一個模型，那麼這些權值就是模型的引數，也就是模型要學習的東西。然而，一個神經網路的連線方式、網路的層數、每層的節點數這些引數，則不是學習出來的，而是人為事先設定的。對於這些人為設定的引數，我們稱之為超引數(Hyper-Parameters)。

3.反向傳播演算法(Back Propagation)

其中是誤差項，a_i是每個節點的輸出

個人理解：在全連線神經網路中，加入誤差項，誤差項來源於每個節點的輸出，通過誤差項影響權值w的更新，此為反向傳播演算法

具體的反向傳播演算法的推導在此不作詳解。