1 - 深度學習與深層神經網路

深度學習的精確定義為：“一類通過多層非線性變換對高複雜性資料建模演算法的集合”

因此，多層神經網路有著2個非常重要的特性

• 多層

• 非線性

1.1 - 線性模型的侷限性

線上性模型中，模型的輸出為輸入的加權和，假設一個模型的輸出y和輸入 $x_i$

滿足以下關係，那麼這麼模型就是一個線性模型
$y=\underset{i}{\sum }{w}_i$

x i + b y=\sum_{i}w_ix_i+b
其中 $w_{}$

i ， b ∈ R w_i，b\in R 為模型的引數，而一個線性模型的最大特點是任意線性模型的組合仍然還是線性模型

前向傳播的計算公式為： $a^{(1)}=xW^{(i)}$, $y=a^{(1)} W^{(2)}$
其中x為輸入，W為引數。整理一下上面的公式可以得到整個模型的輸出為：
$y=(xW^{(1)})W^{(2)}$
根據矩陣乘法的結合律有：
$y=x(W^{(1)}W^{(2)})=XW^{'}$
而 $W^{(1)}W^{(2)}$
根據矩陣乘法的結合律有：
$y=x(W^{(1)}W^{(2)})=XW^{'}$
而 $W^{(1)}W^{(2)}$其實可以被表示為一個新的引數 $W^{'}$:
$W^{'}=x(W^{(1)}W^{(2)})=\begin{bmatrix} W_{1,1}^{(1)}& W_{1,2}^{(1)}& W_{1,3}^{(1)}\\ W_{2,1}^{(1)} & W_{2,2}^{(1)} & W_{2,3}^{(1)} \end{bmatrix}\begin{bmatrix} W_{1,1}^{(2)} \\ W_{2,1}^{(2)} \\ W_{3,1}^{(2)} \end{bmatrix}=\begin{bmatrix} W_{1,1}^{(1)}W_{1,1}^{(2)}+ W_{1,2}^{(1)}W_{2,1}^{(2)}+ W_{1,3}^{(1)}W_{3,1}^{(2)} \\ W_{2,1}^{(1)}W_{1,1}^{(2)}+ W_{2,2}^{(1)}W_{2,1}^{(2)}+ W_{2,3}^{(1)}W_{3,1}^{(2)} \end{bmatrix}=\begin{bmatrix} W_1^{'} \\ W_2^{'} \end{bmatrix}$

相關推薦