本文是學習Andrew Ng的機器學習系列教程的學習筆記。教學視訊地址：

正則化來解決過擬合問題：

34. Regularization - the problem of overfitting

What’s overfitting? 過擬合就是我們的假設函式與樣本一致，但是無法有效的預測新資料； 過擬合可以通過減少引數或者正則化方法來解決。

Overfitting 過擬合

Underfitting欠擬合

underfitting / high bias -> just right -> overfitting / high variance

deal with overfitting:

using figure:

or using other method:

35. Regularization - Cost function通過在成本函式中引入正則化引數，給部分引數加很大的偏差懲罰，使得部分引數趨近於0；

Penalizing parameter by large value, make the feature to zero.

penalize 懲罰

prone 傾向

must choose a good value for regularization parameter lambda:

36. Regularization - Regularized linear regressionadd regularized parameter for linear regression cost function:

over / times * minus – plus +

每次將引數降低一點點，1-α(λ/m)是比1小一點點的數。

通過正則化方法轉變矩陣的可逆性，從而可以通過正規方程求解引數：

37. Regularization - Regularized logistic regression邏輯迴歸的成本函式增加正則化因子：

梯度下降：

In octave how to do? In octave the indexing from one !