1. 程式人生 > >Neural Networks and Deep Learning 學習筆記(三)

Neural Networks and Deep Learning 學習筆記(三)

1. 怎麼理解C(w,b)12nxy(x)a2

首先,v是指範數

範函是一個函式,其為向量空間內的所有向量賦予非零的正長度或大小

好吧,這其實是個均方誤差函式,可自行查閱百度百科,但是不明白為什麼是12n

2. 什麼是梯度下降,為什麼要用梯度下降演算法。

首先,梯度就是標量場某一點增長最快的方向向量,向量大小是這個最大變化率。

就比如一元函式(就是y=f(x)這種)函式,那麼梯度的大小為其導數,因為導數就是δy/δx,就是函式在這一點的變化率。而方向為切線方向,因為在x方向的變化量只有δx,y方向的變化量只有δy,而切線方向則為二者平方和的根號,顯然切線方向增長最快。

我們知道沿梯度方向是增長最快的方向,那麼沿著梯度的反方向就是減小最快的方向了。此時的減小率為最大也就是斜率。而x,可以保證x在越接近極值點時x減小程度越小。

所以神經網路中用梯度下降法逼近真實值非常好,不至於一次減小的過大造成更大偏差。