ng機器學習視頻筆記（二）

——梯度下降算法解釋以及求解θ

（轉載請附上本文鏈接——linhxx）

一、解釋梯度算法

梯度算法公式以及簡化的代價函數圖，如上圖所示。

1）偏導數

由上圖可知，在a點，其偏導數小於0，故θ減去小於0的數，相當於加上一個數。另外，從圖上可以看出，在a點不是最佳點，需要繼續向右移動，即a需要增加。因此符合要求。

對於在b點，可以同理得到需要減少的結果。

2）學習速率α

α表示點移動向最小值點的速率，α取值需要註意。

當值太大，每次移動的距離太長，可能導致在最小值點附近時，移動會超出最小值點的位置，導致不斷的在大於、小於最小值點的位置偏移，無法收斂；

當值太小，移動速度 非常慢，會導致程序執行時間太久。

另外，由於在越接近最小值點，偏導數的數量值（絕對值）越小，因此變化速率本身就會變慢，因此選定α後，不需要再去調整數值，其自己會減慢速率。

二、梯度算法缺陷

由上圖可知，對於有多個極小值點的代價函數，梯度算法只能取到局部最小值點，即函數的極小值點，但是沒法保證該點就是最小值點。

三、求解θ

公式如上圖所示，實質上就是求偏倒的結果。

不斷的計算θ0和θ1，直到偏導數為0（或者設定小於某個閾值），則停止計算，此時的結果則是對於某個起始點的局部最優結果。

——written by linhxx

更多最新文章，歡迎關註微信公眾號“決勝機器學習”，或掃描右邊二維碼。

ng機器學習視頻筆記（二） ——梯度下降算法解釋以及求解θ