1 神經網路的表示

在計算神經網路的層數時，一般不把輸入層計算在內。如一個由輸入層、單隱藏層、輸出層組成的神經網路，一般叫做是兩層的神經網路。

上述單隱藏神經元的神經網路，神經元要做兩件事情，一是計算 $z=w^{T}x+$

b z = w^Tx+b ，即計算輸入和權重的內積；二是應用非線性啟用函式，計算 $a=\sigma \left(z\right)$

a = \sigma(z) ，增強神經網路的表達能力。

對第一個隱藏層神經元，用矩陣進行計算表示：
$z^{\left[1\right]}$

z^{[1]} = $\left[ \begin{matrix}-- & {w^{[1]}_1}^T & -- \\ -- & {w^{[1]}_2}^T & --\\ -- & {w^{[1]}_3}^T & --\\ -- & {w^{[1]}_4}^T & --\end{matrix} \right]$ $\left[ \begin{matrix}x_1 \\ x_2 \\x_3\end{matrix} \right]$ + $\left[ \begin{matrix}b_1 \\ b_2 \\b_3 \\b_4\end{matrix} \right]$ = $\left[ \begin{matrix} {w^{[1]}_1}^Tx + b_1\\ {w^{[1]}_2}^Tx + b_2\\ {w^{[1]}_3}^Tx + b_3\\ {w^{[1]}_4}^Tx + b_4\end{matrix} \right]$ = $\left[ \begin{matrix} {z^{[1]}_1}^T\\ {z^{[1]}_2}^T \\ {z^{[1]}_3}^T \\ {z^{[1]}_4}^T \end{matrix} \right]$ $\\ ~\\ \\~~~~~~~~~~w^{[1]},(4,3)的矩陣 ~~~~~~~~~~~~(4,1)的向量$