04.神經網路與深度學習-第四周-深層神經網路
阿新 • • 發佈:2018-12-13
1. 通常情況下,我們使用L表示神經網路的層數,n表示神經網路的各個網路層的神經元個數,使用a=g(z)表示各個層所用的啟用函式,同理,z中的引數使用w和b表示。具體寫法如圖:
2. 前向反饋的表示方法
所有樣本的前向反饋的表示方法
3. 我們在編碼深度神經網路時候需要注意各個向量的維數的正確性,以減少程式碼的bug。理解矩陣的乘法對此非常有幫助。
4. 為什麼深度神經網路比淺層神經網路更好?
解釋一
深度神經網路可以實現這樣一種模式:前幾層的神經網路層獲取聲音或影象的較低層次的資訊,後面的神經網路層可以獲取較高層次的資訊。
解釋二
如圖是一種用n個數進行異或來舉的直觀的說明:
5. 深度神經網路塊
巨集觀上看這些神經網路塊:
6. 建立前向傳播與反向傳播
<前向傳播>
<反向傳播>
<巨集觀>
7. 引數與超引數
引數:w b
超引數:α(學習率)num(梯度下降法迴圈次數)L(隱藏層數目)n[1]、...(隱藏單元數目)等等。它們最終控制了最後引數w和b的值,所以被稱為超引數。
8. 調參
9. 採訪…