機器學習筆記(三)——正則化最小二乘法
阿新 • • 發佈:2019-01-25
一. 模型的泛化與過擬合
在上一節中,我們的預測函式為:
其中,
上述稱為線性模型,我們也可以將
那麼預測函式
二. 正則化最小二乘法
要避免模型過擬合,我們可以選擇部分資料進行模型的訓練,也可以利用正則化方法。一般來講,正則化,有L1正則和L2正則,它們都是基於
這裡我們選擇模型的複雜度為L2正則:
http://blog.csdn.net/heyongluoyao8/article/details/49429629
那麼我們新的損失函式可以寫為:
同樣的對上式求偏導數:
選擇