單層感知機

輸入層——>輸出層

啟用函式在輸出層，常見啟用函式Logistic、softmax函式

多層感知機（MLP）

輸入層——>隱藏層——>輸出層

啟用函式在隱藏層，線性變換預啟用+非線性啟用函式，資料分佈“線性可分”

隱藏層所含神經元越多，可提取特徵越多

常用啟用函式：階躍函式，sigmoid函式，tanh函式，ReLU函式等

多層神經網路的BP演算法

輸入層（隱藏層0）——>隱藏層1——>......——>隱藏層L——>輸出層（隱藏層L+1）

隱藏層1,2,...,L+1都包含預啟用輸出和啟用輸出兩部分

前向操作：

k從1直至取值L+1：

k=L+1時，可得網路模型預測輸出：

根據損失函式L(y,f(x))衡量模型預測好壞，這裡取對數損失函式：

反向操作：

k從L直至取值1，損失函式對啟用函式、預啟用函式求梯度——>求每層損失函式對引數b,W的引數梯度

注意，同一層預啟用輸出梯度計算對啟用輸出梯度的依賴性；下面的引數梯度計算對預啟用梯度的依賴性！