DeaplearningAI01.weak3

• 回顧 Logistic Regression
• 淺層神經網路(只有一層隱藏單元)
• 網路中每個符號的含義
• 啟用函式的選擇
• 可選函式
• 啟用函式的選擇
• 使用非線性啟用函式
• 神經網路的梯度下降
• 梯度下降詳解
• 初始化

回顧 Logistic Regression

$z=$

ω T x + b → a = σ ( z ) → L ( a , y ) z = \omega^Tx + b \to a=\sigma(z) \to \mathcal{L}(a,y)

淺層神經網路(只有一層隱藏單元)

在本週的課程中，淺層神經網路的 $W$ 均沒有轉置，也就是說，對於 $m$ 個大小為 $n_x$ 的輸入樣本， $W$ 的大小為 $m*n_x$

神經網路的命名中，輸入層的下一層作為神經網路的第一層，輸出層作為神經網路的最後一層。圖中每一個節點進行線性和非線性變換，即 $z = \omega^Tx + b$ 和 $a = g(z)$， $g(x)$ 為啟用函式。
要理解課程最重要的是分清每個符號的代表的意思

網路中每個符號的含義

以每個輸入樣本為照片拉成的向量為例，輸入樣本的大小為 $n_x * m$， $n_x = w*h*channels$
$x_i$：單個輸入向量的 $i$ 位置上的值

$a^{[j]}$： 第j層的輸入值

$a^{[j]}_i$： 第 $j$ 層的第 $i$個輸入值

$n^{[i]}$：第 $i$ 層輸入向量的維度， $n^{[0]} = n_x$

$x^{(i)}$：第 $i$ 個輸入的樣本

所以該淺層神經網路的第一層計算過程可以表示為
$z_1^{[1]} = \omega_1^{[1]T}x^{(i)} + b_1^{[1]}, a_1^{[1]} = g(z_1^{[1]})$
$z_2^{[1]} = \omega_2^{[1]T}x^{(i)} + b_2^{[1]}, a_2^{[1]} = g(z_2^{[1]})$
$z_3^{[1]} = \omega_3^{[1]T}x^{(i)} + b_3^{[1]}, a_3^{[1]} = g(z_3^{[1]})$
$z_4^{[1]} = \omega_4^{[1]T}x^{(i)} + b_4^{[1]}, a_4^{[1]} = g(z_4^{[1]})$
整個網路的計算過程可表示為

相關推薦