1. 程式人生 > >04.神經網路與深度學習-第四周-深層神經網路

04.神經網路與深度學習-第四周-深層神經網路

1. 通常情況下,我們使用L表示神經網路的層數,n表示神經網路的各個網路層的神經元個數,使用a=g(z)表示各個層所用的啟用函式,同理,z中的引數使用w和b表示。具體寫法如圖:

2. 前向反饋的表示方法

所有樣本的前向反饋的表示方法

3. 我們在編碼深度神經網路時候需要注意各個向量的維數的正確性,以減少程式碼的bug。理解矩陣的乘法對此非常有幫助。

4. 為什麼深度神經網路比淺層神經網路更好?

    解釋一

    深度神經網路可以實現這樣一種模式:前幾層的神經網路層獲取聲音或影象的較低層次的資訊,後面的神經網路層可以獲取較高層次的資訊。

   解釋二

   如圖是一種用n個數進行異或來舉的直觀的說明:

5. 深度神經網路塊

巨集觀上看這些神經網路塊:

6. 建立前向傳播與反向傳播

                                                                                     <前向傳播>

                                                                                    <反向傳播>

                                                                                    <巨集觀>

7. 引數與超引數

     引數:w b

    超引數:α(學習率)num(梯度下降法迴圈次數)L(隱藏層數目)n[1]、...(隱藏單元數目)等等。它們最終控制了最後引數w和b的值,所以被稱為超引數。

8. 調參

9. 採訪…