吳恩達機器學習（五）正則化（解決過擬合問題）
阿新 • • 發佈：2018-12-11
目錄
學習完吳恩達老師機器學習課程的正則化，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。
0. 前言
在分類或者回歸時，通常存在兩個問題，“過擬合”（overfitting）和“欠擬合”（underfitting）.
- 過擬合：曲線為了減少代價函式，一味地擬合數據，使得樣本中幾乎每一個數據都能正確被分類（迴歸），導致過度擬合，不能泛化新的樣本，通常具有高方差（high variance）
- 欠擬合：曲線的擬合度不夠，太多的資料並沒有被擬合到，通常具有高偏差（high bias）
通常，在過擬合的情況中，存在過量的特徵，有以下兩種解決辦法：
- 減少特徵量
- 採用正則化
1. 正則化（Regularization）
由於造成過擬合的原因可能是太多的特徵量，所以可採用減少特徵量的方法。但是不妨換種思路，減少特徵量的權值（這個特徵乘以的 很小），來達到目的。
例如，對於 ，已知
的關聯度不大，我們需要減少它的權值（
），可將代價函式修改為
，這樣為了降低
，就會使得
，達到了減小特徵的目的。
但是通常，我們不知道哪些特徵量是無關的，所以給出修改後的代價函式定義：
其中， 稱為正則化引數，
稱為正則項，目的是使得
減小。正則化使得假設函式更加簡單，減小發生過擬合概率。
注：如果 過大，會造成
，使得
，造成欠擬合。
2. 線性迴歸中的正則化
線上性迴歸中運用正則化，我們已知代價函式和梯度下降法如下定義：
代入可得：
其中，，所以相當於
乘以一定的權值，然後再減去梯度下降的變化量。
同樣，在正規方程中，也可以使用正則化：
此時，可以保證，中間項一定不是奇異矩陣，一定存在逆矩陣。
3. 邏輯迴歸中的正則化
與上述類似，代價函式可表示為：
梯度下降法可表示為：
邏輯迴歸中的 是在
外包裹了一層
函式的，與線性迴歸不同，所以梯度下降法看似相同卻不同。