Coursera公開課筆記: 斯坦福大學機器學習第七課“正則化(Regularization)”

斯坦福大學機器學習第七課"正則化“學習筆記，本次課程主要包括4部分：

1)  The Problem of Overfitting(過擬合問題)

2)  Cost Function(成本函式)

3)  Regularized Linear Regression(線性迴歸的正則化)

4)  Regularized Logistic Regression(邏輯迴歸的正則化)

以下是每一部分的詳細解讀。

1)  The Problem of Overfitting(過擬合問題)

擬合問題舉例-線性迴歸之房價問題：

a) 欠擬合(underfit, 也稱High-bias)

b) 合適的擬合：

c) 過擬合(overfit,也稱High variance)

什麼是過擬合(Overfitting):

如果我們有非常多的特徵，那麼所學的Hypothesis有可能對訓練集擬合的非常好(                )，但是對於新資料預測的很差。

過擬合例子2-邏輯迴歸：

與上一個例子相似，依次是欠擬合，合適的擬合以及過擬合：

a) 欠擬合

b) 合適的擬合

c) 過擬合

如何解決過擬合問題：

首先，過擬合問題往往源自過多的特徵，例如房價問題，如果我們定義瞭如下的特徵：

那麼對於訓練集，擬合的會非常完美：

所以針對過擬合問題，通常會考慮兩種途徑來解決：

a) 減少特徵的數量：

-人工的選擇保留哪些特徵；

-模型選擇演算法（之後的課程會介紹）

b) 正則化

-保留所有的特徵，但是降低引數   的量/值；

-正則化的好處是當特徵很多時，每一個特徵都會對預測y貢獻一份合適的力量；

2)  Cost Function(成本函式)

依然從房價預測問題開始，這次採用的是多項式迴歸：

a) 合適的擬合：

b) 過擬合

直觀來看，如果我們想解決這個例子中的過擬合問題，最好能將     的影響消除，也就是讓     .

假設我們對     進行懲罰，並且令其很小，一個簡單的辦法就是給原有的Cost function加上兩個略大懲罰項，例如：

這樣在最小化Cost function的時候，     .

正則化：

引數       取小一點的值，這樣的優點：

-“簡化”的hypothesis；

-不容易過擬合；

對於房價問題：

-特徵包括：       

-引數包括：       

我們對除   以為的引數進行懲罰，也就是正則化：

正式的定義-經過正則化的Cost Function有如下的形式：

其中 稱為正則化引數，我們的目標依然是最小化 :   

例如，對於正則化的線性迴歸模型來說，我們選擇 來最小化如下的正則化成本函式：

如果將   設定為一個極大的值（例如對於我們的問題，設    )? 那麼

-演算法依然會正常的工作, 將  設定的很大不會影響演算法本身；

-演算法在去除過擬合問題上會失敗；

-演算法的結構將是欠擬合（underfitting),即使訓練資料非常好也會失敗；

-梯度下降演算法不一定會收斂；

這樣的話，除了   ，其他的引數都約等於0,     , 將得到類似如下的欠擬合圖形：

關於正則化，以下引自李航博士《統計學習方法》1.5節關於正則化的一些描述：

模型選擇的典型方法是正則化。正則化是結構風險最小化策略的實現，是在經驗風險上加一個正則化項(regularizer)或罰項(penalty term)。正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化值就越大。比如，正則化項可以是模型引數向量的範數。

正則化符合奧卡姆剃刀(Occam's razor)原理。奧卡姆剃刀原理應用於模型選擇時變為以下想法：在所有可能選擇的模型中，能夠很好地解釋已知資料並且十分簡單才是最好的模型，也就是應該選擇的模型。從貝葉斯估計的角度來看，正則化項對應於模型的先驗概率。可以假設複雜的模型有較大的先驗概率，簡單的模型有較小的先驗概率。

3)  Regularized Linear Regression(線性迴歸的正則化)

線性迴歸包括成本函式，梯度下降演算法及正規方程解法等幾個部分，不清楚的讀者可以回顧第二課及第四課的筆記，這裡將分別介紹正則化後的線性迴歸的成本函式，梯度下降演算法及正規方程等。

首先來看一下線性迴歸正則化後的Cost function:

我們的目標依然是最小化 ，從而得到相應的引數 . 梯度下降演算法是其中的一種優化演算法，由於正則化後的線性迴歸Cost function有了改變，因此梯度下降演算法也需要相應的改變：

注意，對於引數 ，梯度下降演算法需要區分   和       。

同樣的正規方程的表示式也需要改變，對於：

X 是m * (n+1)矩陣

y是m維向量：

正則化後的線性迴歸的Normal Equation的公式為：

假設樣本數m小於等於特徵數x, 如果沒有正則化，線性迴歸Normal eqation如下：

       

如果   不可逆怎麼辦？之前的辦法是刪掉一些冗餘的特徵，但是線性迴歸正則化後，如果 ，之前的公式依然有效：

其中括號中的矩陣可逆。

4)  Regularized Logistic Regression(邏輯迴歸的正則化)

和線性迴歸相似，邏輯迴歸的Cost Function也需要加上一個正則化項（懲罰項），梯度下降演算法也需要區別對待引數\(\theta).

再次回顧一些邏輯迴歸過擬合的情況，形容下面這個例子：

其中Hypothesis是這樣的：

邏輯迴歸正則化後的Cost Function如下：

梯度下降演算法如下：

其中   

相關推薦