1. 程式人生 > >深度學習——深層神經網絡

深度學習——深層神經網絡

開始 post 一個 人臉識別 body 網絡 表示 OS 為什麽

1. 神經網絡的符號表示

L = 4 層數為4

n[l]=5 第l層有5個神經元

n[0]=nx=3 輸入層有3個特征值

a[l]第l層的激活函數

X=a[0] a[L]=y hat輸出層

2. 為什麽用深度來表示

1)大腦學習:從邊緣的細節開始學習,一層層遞進到大一點的範圍(比如人臉識別,先從學習眼睛、鼻子再到大一點的臉的輪廓)

2)電路理論:為了達到同樣的效果,層數少的可能需要指數增長的單元數量(比如計算一個異或式子)

3. 神經網絡模塊構建

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

4. 參數VS超參數

參數:W^[1], b^[1]等

超參數:學習率, 隱層數,激活函數,梯度下降的循環次數

超參數在某種程度上控制了參數的結果值

超參數的調整(經驗性)方法:

先嘗試一個範圍內的結果;勤檢驗且調整值

深度學習——深層神經網絡