正則化(Regularization)
機器學習中幾乎都可以看到損失函數後面會添加一個額外項,常用的額外項一般有兩種,一般英文稱作
L1正則化和L2正則化可以看做是損失函數的懲罰項。對於線性回歸模型,使用L1正則化的模型建叫做Lasso回歸,使用L2正則化的模型叫做Ridge回歸(嶺回歸)。下圖是python中Lasso回歸的損失函數,式中加號後面一項
下圖是Python中Ridge回歸的損失函數,式中加號後面一項
一般回歸分析中回歸
- L1正則化是指權值向量
w 中各個元素的絕對值之和,通常表示為||w||1 - L2正則化是指權值向量
w 中各個元素的平方和然後再求平方根(可以看到Ridge回歸的L2正則化項有平方符號),通常表示為||w||2
一般都會在正則化項之前添加一個系數,Python中用
那添加L1和L2正則化有什麽用?下面是L1正則化和L2正則化的作用,這些表述可以在很多文章中找到。
- L1正則化可以產生稀疏權值矩陣,即產生一個稀疏模型,因此可以用於特征選擇
- L2正則化可以防止模型過擬合(overfitting);一定程度上,L1也可以防止過擬合
稀疏模型與特征選擇
上面提到L1正則化有助於生成一個稀疏權值矩陣,進而可以用於特征選擇。為什麽要生成一個稀疏矩陣?
稀疏矩陣指的是很多元素為0,只有少數元素是非零值的矩陣,即得到的線性回歸模型的大部分系數都是0. 通常機器學習中特征數量很多,例如文本處理時,如果將一個詞組(term)作為一個特征,那麽特征數量會達到上萬個(bigram)。在預測或分類時,那麽多特征顯然難以選擇,但是如果代入這些特征得到的模型是一個稀疏模型,表示只有少數特征對這個模型有貢獻,絕大部分特征是沒有貢獻的,或者貢獻微小(因為它們前面的系數是0或者是很小的值,即使去掉對模型也沒有什麽影響),此時我們就可以只關註系數是非零值的特征。這就是稀疏模型與特征選擇的關系。
L1和L2正則化的直觀理解
這部分內容將解釋為什麽L1正則化可以產生稀疏模型(L1是怎麽讓系數等於零的),以及為什麽L2正則化可以防止過擬合。
L1正則化和特征選擇
假設有如下帶L1正則化的損失函數:
其中
圖1 L1正則化
圖中等值線是
類似,假設有如下帶L2正則化的損失函數:
同樣可以畫出他們在二維平面上的圖形,如下:
圖2 L2正則化
二維平面下L2正則化的函數圖形是個圓,與方形相比,被磨去了棱角。因此
L2正則化和過擬合
擬合過程中通常都傾向於讓權值盡可能小,最後構造一個所有參數都比較小的模型。因為一般認為參數值小的模型比較簡單,能適應不同的數據集,也在一定程度上避免了過擬合現象。可以設想一下對於一個線性回歸方程,若參數很大,那麽只要數據偏移一點點,就會對結果造成很大的影響;但如果參數足夠小,數據偏移得多一點也不會對結果造成什麽影響,專業一點的說法是『抗擾動能力強』。
那為什麽L2正則化可以獲得值很小的參數?
以線性回歸中的梯度下降法為例。假設要求的參數為
那麽在梯度下降法中,最終用於叠代計算參數
其中
其中
正則化參數的選擇
L1正則化參數
通常越大的
假設有如下帶L1正則化項的代價函數:
其中
圖3 L1正則化參數的選擇
分別取
L2正則化參數
從公式5可以看到,
Reference
過擬合的解釋:
https://hit-scir.gitbooks.io/neural-Networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html
正則化的解釋:
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html
正則化的解釋:
http://blog.csdn.net/u012162613/article/details/44261657
正則化的數學解釋(一些圖來源於這裏):
http://blog.csdn.net/zouxy09/article/details/24971995
Tags: 回歸分析 平方符號 絕對值 平方根 英文
文章來源: