1. 程式人生 > >深度學習——對吳恩達視訊第一部分視訊疑問的理解

深度學習——對吳恩達視訊第一部分視訊疑問的理解

這個相當於自己的筆記,所以不會說的很詳細,畢竟寫公式麻煩了,2333。

Question1:對反向傳播的公式理解?

雖然前面的課都認真聽了,但是在看這部分視訊的時候,就納悶為什麼會有這樣子的公式。後面經過自己的一些腦回放,得出了結論。首先抓住重點,鏈式求導法則,這個在高數裡的習題中經常要用到,比如y=(x+1)^2,如果求x的導數,則我們需要求外面平方函式的導數,然後求裡面(x+1)的導數。所以這裡講下第一個公式裡的等式由來,原式類似於這樣的:

所以我們求z的導數,首先求a對sigmod函式的偏導,然後在求sigmod函式對z的偏導,用公式表達就是下圖:

前面是a對sigmod的偏導,為da,後面是sigmod對z的偏導,為g'(z)。

Question2:為什麼視訊中要用向量化來表示dw,dz這樣的導數?

這個問題就涉及到第二部分公式了,這裡翻看了筆記發現,這是對m個樣本進行梯度下降的做法,那為什麼要對m個樣本進行計算呢?這裡說兩個概念,大家就明白了,隨機梯度下降和小批量隨機梯度下降。訓練次數還是需要用for迴圈,但是對於特徵權重和小批量樣本梯度下降就可以直接用向量化表示了。這裡提一下為什麼對每個特徵w求平均值,因為這是m個樣本在同一次訓練中對一個w的影響,所以我們要求平均值。