1. 程式人生 > >導數,方向導數,梯度

導數,方向導數,梯度

http://blog.cvmarcher.com/posts/2015/06/27/gradient-descent

1。方向導數的最大值就是梯度。

2.梯度下降法也是從這裡來,當我們在求解的時候沒辦法直接得到最優解,只能不斷逼近最優解,而逼近的時候又想盡可能的快,那麼只能沿著函式變化最劇烈的方法(也就是梯度方向)的反方向走。這裡順便提一下梯度上升法,其實是跟梯度下降法一樣,只是它是用於求解函式的最大值,在逼近最優解的時候,沿著梯度方向走。