首先了解一下正則性（regularity），正則性衡量了函式光滑的程度，正則性越高，函式越光滑。（光滑衡量了函式的可導性，如果一個函式是光滑函式，則該函式無窮可導，即任意n階可導）。

        機器學習中幾乎都可以看到損失函式後面會新增一個額外項，常用的額外項一般有兩種，一般英文稱作ℓ1-norm和ℓ2

-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。

        L1正則化和L2正則化可以看做是損失函式的懲罰項。所謂『懲罰』是指對損失函式中的某些引數做一些限制。對於線性迴歸模型，使用L1正則化的模型建叫做Lasso迴歸，使用L2正則化的模型叫做Ridge迴歸（嶺迴歸）

       正則化是為了解決過擬合問題。在Andrew Ng的機器學習視訊中有提到。解決過擬合的兩種方法：

      方法一：儘量減少選取變數的數量。人工檢查每一個變數，並以此來確定哪些變數更為重要，然後，保留那些更為重要的特徵變數。顯然這種做法需要對問題足夠了解，需要專業經驗或先驗知識。因此，決定哪些變數應該留下不是一件容易的事情。此外，當你捨棄一部分特徵變數時，你也捨棄了問題中的一些資訊。例如，也許所有的特徵變數對於預測房價都是有用的，我們實際上並不想捨棄一些資訊或者說捨棄這些特徵變數。

      最好的做法是採取某種約束可以自動選擇重要的特徵變數，自動捨棄不需要的特徵變數。

    方法二：正則化。採用正則化方法會自動削弱不重要的特徵變數，自動從許多的特徵變數中”提取“重要的特徵變數，減小特徵變數的數量級。這個方法非常有效，當我們有很多特徵變數時，其中每一個變數都能對預測產生一點影響。正如在房價預測的例子中看到的那樣，我們可以有很多特徵變數，其中每一個變數都是有用的，因此我們不希望把它們刪掉，這就導致了正則化概念的發生。

L1 regularization

在原始的代價函式後面加上一個L1正則化項，即所有權重w的絕對值的和，乘以λ/n（這裡不像L2正則化項那樣，需要再乘以1/2，具體原因上面已經說過。）

同樣先計算導數：

上式中sgn(w)表示w的符號。那麼權重w的更新規則為：

比原始的更新規則多出了η * λ * sgn(w)/n這一項。當w為正時，更新後的w變小。當w為負時，更新後的w變大——因此它的效果就是讓w往0靠，使網路中的權重儘可能為0，也就相當於減小了網路複雜度，防止過擬合。

另外，上面沒有提到一個問題，當w為0時怎麼辦？當w等於0時，|W|是不可導的，所以我們只能按照原始的未經正則化的方法去更新w，這就相當於去掉η*λ*sgn(w)/n這一項，所以我們可以規定sgn(0)=0，這樣就把w=0的情況也統一進來了。（在程式設計的時候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

L2 regularization（權重衰減）

L2正則化就是在代價函式後面再加上一個正則化項：

C0代表原始的代價函式，後面那一項就是L2正則化項，它是這樣來的：所有引數w的平方的和，除以訓練集的樣本大小n。λ就是正則項係數，權衡正則項與C0項的比重。另外還有一個係數1/2，1/2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生一個2，與1/2相乘剛好湊整。

L2正則化項是怎麼避免overfitting的呢？我們推導一下看看，先求導：

可以發現L2正則化項對b的更新沒有影響，但是對於w的更新有影響:

在不使用L2正則化時，求導結果中w前係數為1，現在w前面係數為 1−ηλ/n ，因為η、λ、n都是正的，所以 1−ηλ/n小於1，它的效果是減小w，這也就是權重衰減（weight decay）的由來。當然考慮到後面的導數項，w最終的值可能增大也可能減小。

另外，需要提一下，對於基於mini-batch的隨機梯度下降，w和b更新的公式跟上面給出的有點不同：

對比上面w的更新公式，可以發現後面那一項變了，變成所有導數加和，乘以η再除以m，m是一個mini-batch中樣本的個數。

到目前為止，我們只是解釋了L2正則化項有讓w“變小”的效果，但是還沒解釋為什麼w“變小”可以防止overfitting？一個所謂“顯而易見”的解釋就是：更小的權值w，從某種意義上說，表示網路的複雜度更低，對資料的擬合剛剛好（這個法則也叫做奧卡姆剃刀），而在實際應用中，也驗證了這一點，L2正則化的效果往往好於未經正則化的效果。當然，對於很多人（包括我）來說，這個解釋似乎不那麼顯而易見，所以這裡新增一個稍微數學一點的解釋（引自知乎）：

過擬合的時候，擬合函式的係數往往非常大，為什麼？如下圖所示，過擬合，就是擬合函式需要顧忌每一個點，最終形成的擬合函式波動很大。在某些很小的區間裡，函式值的變化很劇烈。這就意味著函式在某些小區間裡的導數值（絕對值）非常大，由於自變數值可大可小，所以只有係數足夠大，才能保證導數值很大。

而正則化是通過約束引數的範數使其不要太大，所以可以在一定程度上減少過擬合情況。

一般迴歸分析中迴歸w

表示特徵的係數，從上式可以看到正則化項是對係數做了處理（限制）。

L1正則化和L2正則化的說明如下：

1. L1正則化是指權值向量w中各個元素的絕對值之和，通常表示為||w||1
2. L2正則化是指權值向量w中各個元素的平方和然後再求平方根（可以看到Ridge迴歸的L2正則化項有平方符號），通常表示為||w||2

那新增L1和L2正則化有什麼用？下面是L1正則化和L2正則化的作用，這些表述可以在很多文章中找到。

• L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇
• L2正則化可以防止模型過擬合（overfitting）；一定程度上，L1也可以防止過擬合

稀疏模型與特徵選擇

上面提到L1正則化有助於生成一個稀疏權值矩陣，進而可以用於特徵選擇。為什麼要生成一個稀疏矩陣？

稀疏矩陣指的是很多元素為0，只有少數元素是非零值的矩陣，即得到的線性迴歸模型的大部分系數都是0. 通常機器學習中特徵數量很多，例如文字處理時，如果將一個片語（term）作為一個特徵，那麼特徵數量會達到上萬個（bigram）。在預測或分類時，那麼多特徵顯然難以選擇，但是如果代入這些特徵得到的模型是一個稀疏模型，表示只有少數特徵對這個模型有貢獻，絕大部分特徵是沒有貢獻的，或者貢獻微小（因為它們前面的係數是0或者是很小的值，即使去掉對模型也沒有什麼影響），此時我們就可以只關注係數是非零值的特徵。這就是稀疏模型與特徵選擇的關係。

L1和L2正則化的直觀理解

這部分內容將解釋為什麼L1正則化可以產生稀疏模型（L1是怎麼讓係數等於零的），以及為什麼L2正則化可以防止過擬合。

L1正則化和特徵選擇

假設有如下帶L1正則化的損失函式：

J=J0+α∑w|w|(1)
其中J0是原始的損失函式，加號後面的一項是L1正則化項，α是正則化係數。注意到L1正則化是權值的絕對值之和，J是帶有絕對值符號的函式，因此J是不完全可微的。機器學習的任務就是要通過一些方法（比如梯度下降）求出損失函式的最小值。當我們在原始損失函式J0後新增L1正則化項時，相當於對J0做了一個約束。令L=α∑w|w|，則J=J0+L，此時我們的任務變成在L約束下求出J0取最小值的解。考慮二維的情況，即只有兩個權值w1和w2，此時L=|w1|+|w2|對於梯度下降法，求解J0的過程可以畫出等值線，同時L1正則化的函式L也可以在w1w2的二維平面上畫出來。如下圖：

圖1 L1正則化

圖中等值線是J0

的等值線，黑色方形是L函式的圖形。在圖中，當J0等值線與L圖形首次相交的地方就是最優解。上圖中J0與L在L的一個頂點處相交，這個頂點就是最優解。注意到這個頂點的值是(w1,w2)=(0,w)。可以直觀想象，因為L函式有很多『突出的角』（二維情況下四個，多維情況下更多），J0與這些角接觸的機率會遠大於與L

其它部位接觸的機率，而在這些角上，會有很多權值等於0，這就是為什麼L1正則化可以產生稀疏模型，進而可以用於特徵選擇。

而正則化前面的係數α

，可以控制L圖形的大小。α越小，L的圖形越大（上圖中的黑色方框）；α越大，L的圖形就越小，可以小到黑色方框只超出原點範圍一點點，這是最優點的值(w1,w2)=(0,w)中的w

可以取到很小的值。

類似，假設有如下帶L2正則化的損失函式：

J=J0+α∑ww2(2)
同樣可以畫出他們在二維平面上的圖形，如下：

圖2 L2正則化

二維平面下L2正則化的函式圖形是個圓，與方形相比，被磨去了稜角。因此J0

與L相交時使得w1或w2

等於零的機率小了許多，這就是為什麼L2正則化不具有稀疏性的原因。

L2正則化和過擬合

擬合過程中通常都傾向於讓權值儘可能小，最後構造一個所有引數都比較小的模型。因為一般認為引數值小的模型比較簡單，能適應不同的資料集，也在一定程度上避免了過擬合現象。可以設想一下對於一個線性迴歸方程，若引數很大，那麼只要資料偏移一點點，就會對結果造成很大的影響；但如果引數足夠小，資料偏移得多一點也不會對結果造成什麼影響，專業一點的說法是『抗擾動能力強』。

那為什麼L2正則化可以獲得值很小的引數？

以線性迴歸中的梯度下降法為例。假設要求的引數為θ

，hθ(x)

是我們的假設函式，那麼線性迴歸的代價函式如下：

J(θ)=12m∑i=1m(hθ(x(i))−y(i))(3)
那麼在梯度下降法中，最終用於迭代計算引數θ的迭代式為：
θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(4)
其中α是learning rate. 上式是沒有新增L2正則化項的迭代公式，如果在原始代價函式之後新增L2正則化，則迭代公式會變成下面的樣子：
θj:=θj(1−αλm)−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(5)
其中λ就是正則化引數。從上式可以看到，與未新增L2正則化的迭代公式相比，每一次迭代，θj都要先乘以一個小於1的因子，從而使得θj不斷減小，因此總得來看，θ是不斷減小的。

最開始也提到L1正則化一定程度上也可以防止過擬合。之前做了解釋，當L1的正則化係數很小時，得到的最優解會很小，可以達到和L2正則化類似的效果。

正則化引數的選擇

L1正則化引數

通常越大的λ

可以讓代價函式在引數為0時取到最小值。下面是一個簡單的例子，這個例子來自Quora上的問答。為了方便敘述，一些符號跟這篇帖子的符號保持一致。

假設有如下帶L1正則化項的代價函式：

F(x)=f(x)+λ||x||1
其中x是要估計的引數，相當於上文中提到的w以及θ. 注意到L1正則化在某些位置是不可導的，當λ足夠大時可以使得F(x)在x=0時取到最小值。如下圖：

圖3 L1正則化引數的選擇

分別取λ=0.5

和λ=2，可以看到越大的λ越容易使F(x)在x=0

時取到最小值。

L2正則化引數

從公式5可以看到，λ

越大，θj衰減得越快。另一個理解可以參考圖2，λ越大，L2圓的半徑越小，最後求得代價函式最值時各引數也會變得很小。

參考： https://blog.csdn.net/jinping_shi/article/details/52433975