內容提要

這篇部落格的主要內容有：
- 介紹欠擬合和過擬合的概念
- 從概率的角度解釋上一篇部落格中評價函式J(θ)” role=”presentation” style=”position: relative;”>J(θ)J(θ)為什麼用最小二乘法
- 區域性加權線性迴歸（Locally Weighted Linear Regression (LWR)）
- 邏輯迴歸（Logistic regression）
- 感知器學習演算法（The perceptron learning algorithm）

欠擬合與過擬合

我覺得欠擬合和過擬合都是從擬合的逼近訓練集程度上說的。本身擬合就是對訓練集特徵提取的過程，那麼就存在到底要精細到什麼樣的層次，這也就引出了欠擬合和過擬合的概念。這兩個概念是相對的不是絕對的。
如下圖：

對待同樣的訓練集我們可以用線性函式去擬合，也可以用二次，當然也可以用高次。三種擬合方式一次對應上面三幅圖。Andrew Ng老師說就這個列子而言，第一種就是欠擬合，即擬合效果不好。第三種就是過擬合，同樣擬合效果也不好。第二種是比較好的一個擬合。總之，擬合的效果好不好還是得靠實驗結果。

為什麼線性擬合的評價函式要用最小二乘法

回顧上一篇部落格中講的例子，我們現在可以把線性迴歸的模型寫成下面的樣子：

上標i” role=”presentation” style=”position: relative;”>ii。為什麼假設是正態分佈，Andrew Ng老師解釋說主要有兩個原因：
- 一般的，訓練集中的因素的都是獨立的，而且對於某一種大量因素而言一般也都服從正態分佈，比如我們的身高。根據中心極限定理（中心極限定理：設從均值為μ” role=”presentation” style=”position: relative;”>μ

根據y” role=”presentation” style=”position: relative;”>yy的概率密度如下：

注意：這裡的p(y(i)|x(i);θ)” role=”presentation” style=”position: relative;”>p(y(i)|x(i);θ)p(y(i)|x(i);θ)的概率。

我們將y(i)” role=”presentation” style=”position: relative;”>y(

為了便於計算，我們對似然函式去對數，自然數為底。我們一般寫成ln” role=”presentation” style=”position: relative;”>lnln，表示的是一個意思。

減號前半部分都是常數，最大似然估計就是要讓l(θ)” role=”presentation” style=”position: relative;”>l(θ)l(θ)，去最大值。則就要求減號後面的部分取最小值。

這就證明了上篇部落格中提到的評價函式的正確性。

區域性加權線性迴歸（Locally Weighted Linear Regression (LWR)）

我們先來看下面訓練集：

如果用我們之前的線性迴歸，顯然是一個欠擬合。那麼我們怎麼改進呢?可能你想到了非線性迴歸，有人就想到了：採用區域性線性迴歸的方式對上面的訓練集進行擬合。經過實踐，這種想法也是非常有效的。我們再來看看怎麼用數學的方式體現區域性擬合。我們的想法就是線上性迴歸的評價函式中新增一個具有區域性性質的權重。如下：

其中的這個ω(i)” role=”presentation” style=”position: relative;”>ω(i)ω(i)個訓練樣本的權重係數。這個權重係數具有下面的性質：
- 如果|x(i)−x|” role=”presentation” style=”position: relative;”>|x(i)−x||x(i)−x|
- 如果|x(i)−x|” role=”presentation” style=”position: relative;”>|x(i)−x||x(i)−x|

這個權重係數就可以提現區域性特性了，式子中τ” role=”presentation” style=”position: relative;”>ττ是波長引數，控制了權值隨距離的下降速率，是一個實驗引數。可能你覺得這個權重係數的表達是和正態分佈的概率密度特別像，但是這裡沒有正態分佈的這層含義。可能你也覺得選擇其他的係數表示式可能更好，是的，這的確存在爭議，但是一般情況下選擇這個係數表示式，擬合效果比較好。當然你也可以具體情況具體分析。

上面這些如何選擇係數表示式，你可能不太在意。可能比較糾結ω(i)” role=”presentation” style=”position: relative;”>ω(i)ω(i),這時就可以預測房價了。

總結一下：LWR演算法是我們遇到的第一個non-parametric（非引數）學習演算法，而線性迴歸則是我們遇到的第一個parametric（引數）學習演算法。所謂引數學習演算法它有固定的明確的引數，引數 一旦確定，就不會改變了，我們不需要在保留訓練集中的訓練樣本。而非引數學習演算法，每進行一次預測，就需要重新學習一組，θ” role=”presentation” style=”position: relative;”>θθ向量是變化的，所以需要一直保留訓練樣本。也就是說，當訓練集的容量較大時，非引數學習演算法需要佔用更多的儲存空間，計算速度也較慢。有得必有失，效果好當然要犧牲一些其他的東西。

邏輯迴歸（Logistic regression）

我們先看一個訓練集，如下圖：

如果y” role=”presentation” style=”position: relative;”>yy的取值只有0和1，訓練集畫出來這這個樣子（先沒有綠框中的點），我們用線性迴歸得到1號直線，如果認為模擬直線的取值小於0.5時則預測值就為0，如果模擬直線的取值大於0.5時預測值就為1，感覺還不錯。但是將綠框中的點加入後，線性迴歸得到的直線2，就顯得不是很完美了。經過大量的實驗證明，線性迴歸不適合這種訓練集。那麼怎麼解決這個問題呢？

我們提出來了一種新的迴歸模型：

其中g” role=”presentation” style=”position: relative;”>gg的函式原型為：

它的影象為：

可以看出：
- 當z>0” role=”presentation” style=”position: relative;”>z>0z>0
- 當z&lt;0” role=”presentation” style=”position: relative;”>z<0z<0

g(z)” role=”presentation” style=”position: relative;”>g(z)g(z)這個函式稱之為：logistic function 或者 sigmoid function
利用g(z)” role=”presentation” style=”position: relative;”>g(z)g(z)函式，我們做出如下假設：

同樣的這裡P(y=1|x;&#x03B8;)” role=”presentation” style=”position: relative;”>P(y=1|x;θ)P(y=1|x;θ)並不是表示條件概率，是一種類似最大似然估計的表示方式，表示出引數。也可以將他們寫在一塊，如下：

你可以把y” role=”presentation” style=”position: relative;”>yy的值帶入驗證，結果是正確的。

我們還是利用最大似然估計的思想去求引數，先構造似然函式。

然後去對數：

最大似然估計就是要讓l(&#x03B8;)” role=”presentation” style=”position: relative;”>l(θ)l(θ)的梯度就可以了：

其中對於g(&#x03B8;Tx)” role=”presentation” style=”position: relative;”>g(θTx)g(θTx)的求導可以參考下面：

總結一下：邏輯迴歸，和線性迴歸其本質思想上是一致的。都是利用概率的思想，把我們的估計值當成一個隨機變數，我們的訓練集就是一組抽樣。之後再利用最大似然估計，求其中的引數。當其中的引數求出來後，我們也就得到了迴歸方程，就可以進行預測或者其他工作了。

感知器學習演算法（The perceptron learning algorithm）

這個演算法是對邏輯迴歸的強行約束，使得函式值取0和1。定義形式如下：

同樣的我們假設h&#x03B8;(x)=g(&#x03B8;Tx)” role=”presentation” style=”position: relative;”>hθ(x)=g(θTx)hθ(x)=g(θTx)向量。整個推導過程和邏輯迴歸一樣，最終結果如下：

總結

現在我已經學習的梯度下降演算法屬於引數學習演算法，區域性加權線性迴歸屬於非引數學習演算法，感知器學習演算法屬於聚類演算法。他們都屬於監督學習這個大類。

end