吳恩達機器學習筆記整理——單變量線性回歸

通過模型分析，擬合什麽類型的曲線。

一、基本概念

1.訓練集

由訓練樣例(training example)組成的集合就是訓練集(training set), 如下圖所示，其中（x，y)是一個訓練樣本，訓練集中每一行表示一個訓練樣本;(x^i,y^i)表示第i個訓練樣本。

2.假設函數h

使用某種學習算法對訓練集的數據進行訓練, 我們可以得到假設函數(Hypothesis Function), 如下圖所示. 在房價的例子中，假設函數就是一個房價關於房子面積的函數。有了這個假設函數之後, 給定一個房子的面積我們就可以預測它的價格了.

這個模型就叫做單變量的線性回歸(Linear Regression with One Variable).

二、代價函數

1.概念

對於不同的假設函數, 假設函數中有兩個未知的量當選擇不同的,所得到的模型的效果肯定是不一樣的. 如下圖所示, 列舉了三種不同的下的假設函數

代價函數，是使所得直線與數據最大程度擬合，使h(x)在輸入x後所得的y值，最接近樣本對應的y值，此時的參數θ1和θ0即所求。

越是接近, 代表這個假設函數越是準確, 這裏我們選擇均方誤差來作為衡量標準, 即我們想要每個樣例的估計值與真實值之間差的平方的均值最小。用公式表達為:

（1/2是為了便於後續計算）記：

這樣就得到了我們的代價函數(cost function), 也就是我們的優化目標, 我們想要代價函數最小

2.代價函數與假設函數

現在為了更方便地探究hθ(x)與J(θ0,θ1)的關系, 先令θ0等於0, 得到了簡化後的假設函數，有假設函數的定義可知此時的假設函數是經過原點的直線. 相應地也也得到簡化的代價函數。如圖所示:

簡化之後，我們令θ1等於1, 就得到hθ(x)=x如下圖左所示。圖中三個紅叉表示訓練樣例，通過代價函數的定義我們計算得出J(1)=0，對應下圖右中的(1,0)坐標。

重復上面的步驟，再令θ1=0.5，得到hθ(x)如下圖左所示。通過計算得出J(0.5)=0.58，對應下圖右中的(0.5,0.58)坐標。

對於不同的θ1，對應著不同的假設函數hθ(x)，於是就有了不同的J(θ1)的值。將這些點連接起來就可以得到J(θ1)關於θ1的函數圖像，如下圖所示：

我們的目標就是找到一個θ使得J(θ)最小, 通過上面的描點作圖的方式, 我們可以從圖中看出, 當θ1=1的時候, J(θ)取得最小值.

我們令θ0等於0, 並且通過設置不同的θ1來描點作圖得到J(θ1)的曲線。這一節我們不再令θ0=0, 而是同時設置θ0和θ1的值, 然後再繪出J(θ0,θ1)的圖形. 因為此時有兩個變量，很容易想到J(θ1)應該是一個曲面, 如下圖所示：

為了便於研究，我們采用等高線圖來研究3D模型，在地理中常用等高線用來描述地形

下圖右，越靠近中心表示J(θ0,θ1)的值越小(對應3D圖中越靠近最低點的位置)。下圖左表示當=800, θ1=0.15的時候對應的hθ(x)，通過θ0, θ1的值可以找到下圖右中Jθ0,θ1)的值。對於不同的擬合直線，對應不同的J(θ0,θ1)

對於斜率為負的情形：

當斜率為0，情形如下：

最優擬合情形：

我們在這個過程中不斷由外向內趨近，直至找到一個最接近最佳hθ(x)，這個過程就是梯度下降的過程。

三、梯度下降算法

1.梯度下降

梯度下降算法是一種優化算法, 它可以幫助我們找到一個函數的局部極小值點. 它不僅僅可以用在線性回歸模型中, 在機器學習許多其他的模型中也可以使用它. 對於我們現在研究的單變量線性回歸來說, 我們想要使用梯度下降來找到最優的θ0,θ1.它的思想是, 首先隨機選擇兩個θ0,θ1(例如, θ0=0,θ1=0), 不斷地改變它們的值使得J(θ)變小, 最終找到J(θ)的最小值點.

可以把梯度下降的過程想象成下山坡, 如果想要盡可能快的下坡, 應該每次都往坡度最大的方向下山.

梯度下降算法得到的結果會受到初始狀態的影響, 即當從不同的點開始時, 可能到達不同的局部極小值, 如下圖:

下面具體看一下算法的過程, 如下圖所示, 其中:=表示賦值，α叫做學習率用來控制下降的幅度，導數部分叫做梯度。這裏一定要註意的是，算法每次是同時(simultaneously)改變θ0和θ1的值，如圖下圖所示。

3.梯度和學習率

我們先來看看梯度下降算法的梯度是如何幫助我們找到最優解的. 為了研究問題的方便我們還是同樣地令θ0等於0，假設一開始選取的θ1在最低點的右側，此時的梯度(斜率)是一個正數。根據上面的算法更新θ1的時候，它的值會減小, 即靠近最低點。

類似地假設一開始選取的θ1在最低點的左側，此時的梯度是一個負數，根據上面的算法更新θ1的時候，它的值會增大，也會靠近最低點.

如果一開始選取的θ1恰好在最適位置，那麽更新θ1時，它的值不會發生變化。

學習率α會影響梯度下降的幅度。如果α太小, θ的值每次會變化的很小，那麽梯度下降就會非常慢；相反地，如果α過大，θ的值每次會變化會很大，有可能直接越過最低點，可能導致永遠沒法到達最低點。

由於隨著越來越接近最低點, 相應的梯度(絕對值)也會逐漸減小，所以每次下降程度就會越來越小, 我們並不需要減小α的值來減小下降程度。

3.計算梯度

根據定義, 梯度也就是代價函數對每個θ的偏導:

我們將hθ(x(i))=θ0+θ1x(i)帶入到J(θ0,θ1)中，並且分別對θ0和θ1求導得:

由此得到了完整的梯度下降算法

還記得這個圖嗎, 前面說了梯度下降算法得到的結果會受初始狀態的影響, 即初始狀態不同, 結果可能是不同的局部最低點.

事實上，用於線性回歸的代價函數總是一個凸函數(Convex Function)。這樣的函數沒有局部最優解，只有一個全局最優解。所以我們在使用梯度下降的時候，總會得到一個全局最優解。

叠代多次後，我們得到了最優解。現在我們可以用最優解對應的假設函數來對房價進行預測了。例如一個1,250平方英尺的房子大概能賣到250k$，如下圖所示：

機器學習【第二篇】單變量線性回歸