ng機器學習視頻筆記（一）

——線性回歸、代價函數、梯度下降基礎

（轉載請附上本文鏈接——linhxx）

一、線性回歸

線性回歸是監督學習中的重要算法，其主要目的在於用一個函數表示一組數據，其中橫軸是變量（假定一個結果只由一個變量影響），縱軸是結果。

線性回歸得到的方程，稱為假設函數（Hypothesis Function）。當假設函數是線性函數時，其公式為：

二、代價函數

代價函數是用於評價線性回歸，其公式為：

計算方式是計算每一個點在當前假設函數情況下，偏差的平方和，再取平均數。m即表示一共取了幾個點進行判斷。

因此可知，假設函數預計的越準確的，其代價函數的結果越接近於0。對於不同的假設函數，其J的結果可以形成一個輪廓圖，如下：

上圖中，橫坐標θ0表示與y軸的交點，縱坐標θ1表示斜率。同一個圓環，表示取值在這些範圍內的假設函數，其代價函數的結果是一樣的，即這些取值情況下的精度是一樣的。

三、梯度下降算法

梯度下降（Gradient descent）是獲取代價函數最小值的過程。

1、思想

想象現在在一座山（三維立體圖形），有多個山峰和山谷（極大值和極小值）。當你在某個位置，找到最快下山的路線（偏導數最小而且是負數的方向），並走一小步，然後接著尋找最快下山的路線，直到到達最低點。

2、存在問題

從上述思想可知，對於有多個極小值情況下，用梯度下降算法很有可能到不了最小值點，只會到達某個極小值點，就因為周圍沒有減小的路線，而停止。

因此，不同的起始值，最終得到的結果會不一樣。

3、步驟

如下述公式：（圖片來自視頻課程）

其中，α就是“一小步”的距離，α取的大小的變化，會導致從一個點抵達的下一個點的位置不一樣，會影響到最終抵達的位置。

不斷的執行公式，最終會抵達一個結果。

要求：每次更新的時候，θ1和θ0都要更新，即將θ0和θ1的結果都算出來後，才更新θ0和θ1的值，進行下一次的計算。圖中的“:=”符號，即賦值符號，對於大多數編程語言來說，就是=號。

——written by linhxx

更多最新文章，歡迎關註微信公眾號“決勝機器學習”，或掃描右邊二維碼。

ng機器學習視頻筆記（一）——線性回歸、代價函數、梯度下降基礎