Regularization in Linear Regression

Regularization是Linear Regression中很重要的一步。

回憶一下上篇內容：

通過使用normal equation，可以找到least square regression的close form結果：

輸入是X，輸出是Y。

另外：

Overfitting是機器學習中的一個問題。當所構建出的模型的引數個數相對的大於資料的個數的時候，就會發生overfitting。舉個例子，如果有一組資料，是二維空間的

在Linear Regression裡，overfitting現象發生的特點就是會帶來非常大的theta值。

假設有下列linear 模型：

M就是theta的個數，當模型引數過多時，theta的值就會變得很大。

考慮到上面因素，Regularized Regression就是在原有cost function基礎上加入了對於theta值過大的懲罰。

（下面公式的符號變了一下。。

L2-Regularization：

Lambda是根據個人喜好的一個懲罰引數，你想要對overfitting多懲罰一點就調大一點。

微分後得到：