正則化（Regularization）

機器學習中幾乎都可以看到損失函式後面會新增一個額外項，常用的額外項一般有兩種，一般英文稱作ℓ1${\ell }_1$-norm和ℓ2${\ell }_2$-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。

L1正則化和L2正則化可以看做是損失函式的懲罰項。所謂『懲罰』是指對損失函式中的某些引數做一些限制。對於線性迴歸模型，使用L1正則化的模型建叫做Lasso迴歸，使用L2正則化的模型叫做Ridge迴歸（嶺迴歸）。下圖是Python中Lasso迴歸的損失函式，式中加號後面一項α||w||1$\alpha ||w|{|}_1$即為L1正則化項。

下圖是Python中Ridge迴歸的損失函式，式中加號後面一項

α||w||22$\alpha ||w|{|}_2^2$即為L2正則化項。

一般迴歸分析中迴歸w$w$表示特徵的係數，從上式可以看到正則化項是對係數做了處理（限制）。L1正則化和L2正則化的說明如下：

• L1正則化是指權值向量w$w$中各個元素的絕對值之和，通常表示為||w||1$||w|{|}_1$
• L2正則化是指權值向量w$w$中各個元素的平方和然後再求平方根（可以看到Ridge迴歸的L2正則化項有平方符號），通常表示為||w||2$||w|{|}_2$

一般都會在正則化項之前新增一個係數，Python中用α$\alpha$表示，一些文章也用λ$\lambda$表示。這個係數需要使用者指定。

那新增L1和L2正則化有什麼用？下面是L1正則化和L2正則化的作用，這些表述可以在很多文章中找到。

• L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇
• L2正則化可以防止模型過擬合（overfitting）；一定程度上，L1也可以防止過擬合

稀疏模型與特徵選擇

上面提到L1正則化有助於生成一個稀疏權值矩陣，進而可以用於特徵選擇。為什麼要生成一個稀疏矩陣？

稀疏矩陣指的是很多元素為0，只有少數元素是非零值的矩陣，即得到的線性迴歸模型的大部分系數都是0. 通常機器學習中特徵數量很多，例如文字處理時，如果將一個片語（term）作為一個特徵，那麼特徵數量會達到上萬個（bigram）。在預測或分類時，那麼多特徵顯然難以選擇，但是如果代入這些特徵得到的模型是一個稀疏模型，表示只有少數特徵對這個模型有貢獻，絕大部分特徵是沒有貢獻的，或者貢獻微小（因為它們前面的係數是0或者是很小的值，即使去掉對模型也沒有什麼影響），此時我們就可以只關注係數是非零值的特徵。這就是稀疏模型與特徵選擇的關係。

L1和L2正則化的直觀理解

這部分內容將解釋為什麼L1正則化可以產生稀疏模型（L1是怎麼讓係數等於零的），以及為什麼L2正則化可以防止過擬合。

L1正則化和特徵選擇

假設有如下帶L1正則化的損失函式：

J=J0+α∑w|w|(1)$$\begin{array}{}\text{(1)}& J=J_0+\alpha \sum _w|w|\end{array}$$
其中J0$J_0$是原始的損失函式，加號後面的一項是L1正則化項，α$\alpha$是正則化係數。注意到L1正則化是權值的絕對值之和，J$J$是帶有絕對值符號的函式，因此J$J$是不完全可微的。機器學習的任務就是要通過一些方法（比如梯度下降）求出損失函式的最小值。當我們在原始損失函式J0$J_0$後新增L1正則化項時，相當於對J0$J_0$做了一個約束。令L=α∑w|w|$L=\alpha \sum _w|w|$，則J=J0+L$J=J_0+L$，此時我們的任務變成在L$L$約束下求出J0$J_0$取最小值的解。考慮二維的情況，即只有兩個權值w1$w^1$和w2$w^2$，此時L=|w1|+|w2|$L=|w^1|+|w^2|$對於梯度下降法，求解J0$J_0$的過程可以畫出等值線，同時L1正則化的函式L$L$也可以在w1w2$w^1{w}^2$的二維平面上畫出來。如下圖：

圖1 L1正則化

圖中等值線是J0$J_0$的等值線，黑色方形是L$L$函式的圖形。在圖中，當J0$J_0$等值線與L$L$圖形首次相交的地方就是最優解。上圖中J0$J_0$與L$L$在L$L$的一個頂點處相交，這個頂點就是最優解。注意到這個頂點的值是(w1,w2)=(0,w)$(w^1,w^2)=(0,w)$。可以直觀想象，因為L$L$函式有很多『突出的角』（二維情況下四個，多維情況下更多），J

相關推薦

[work*] 機器學習中正則化項L1和L2的直觀理解

正則化（Regularization） 機器學習中幾乎都可以看到損失函式後面會新增一個額外項，常用的額外項一般有兩種，一般英文稱作-norm和-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。 L1正則化和L2正則化可以看做是損失函式的懲罰項。所謂『懲罰

機器學習中正則化項L1和L2的直觀理解

正則化（Regularization） 機器學習中幾乎都可以看到損失函式後面會新增一個額外項，常用的額外項一般有兩種，一般英文稱作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。 L1正則化和L2正則化可以看做

神經網路損失函式中的正則化項L1和L2

轉自：https://blog.csdn.net/dcrmg/article/details/80229189 神經網路中損失函式後一般會加一個額外的正則項L1或L2,也成為L1範數和L2範數。正則項可以看做是損失函式的懲罰項，用來對損失函式中的係數做一些限制

正則化項L1和L2的區別

梯度下降法 誤差 font 分享 特征 技術 技術分享 http 現在 https://blog.csdn.net/jinping_shi/article/details/52433975 https://blog.csdn.net/zouxy09/article/deta

機器學習中正則懲罰項L0/L1/L2範數詳解

https://blog.csdn.net/zouxy09/article/details/24971995 原文轉自csdn部落格，寫的非常好。 L0: 非零的個數 L1: 引數絕對值的和 L2:引數平方和

正則化方法 L1和L2 regularization 資料集擴增 dropout

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

機器學習：正則化技術

正則化（regularization）技術是機器學習中十分常用的技術，它在不同的模型或者情景中以不同的名字出現，比如以L2正則化為例，如果將L2正則化用於linear regression，那麼這就對應了ridge regression；如果將L2正則化用於神經網路（neural network），

【機器學習】正則化方法

正則化方法：L1和L2 regularization、資料集擴增、dropout 正則化方法：防止過擬合，提高泛化能力，減少部分特徵的權重，進而忽略部分無關緊要的特徵。因為考慮全部特徵會將噪聲加入進去，也就導致過擬合。 在訓練資料不夠多時，或者overtraining時，常常會導致overf

【機器學習】正則化的線性迴歸 —— 嶺迴歸與Lasso迴歸

注：正則化是用來防止過擬合的方法。在最開始學習機器學習的課程時，只是覺得這個方法就像某種魔法一樣非常神奇的改變了模型的引數。但是一直也無法對其基本原理有一個透徹、直觀的理解。直到最近再次接觸到這個概念，經過一番苦思冥想後終於有了我自己的理解。 0. 正則化（

機器學習筆記——正則化（regularization）

正則化 過擬合 我們在利用資料來進行曲線擬合的時候會出現三種情況，欠擬合（underfitting），合適（just right），過擬合（overfitting）。欠擬合的情況一般是由於變數太少，而過擬合的原因一般是變數太多 下面我們主要考慮過擬合的問題。過擬合的解決方法一

機器學習5 正則化的線性迴歸（Regularized Linear Regression）和偏差對方差（Bias v.s. Variance）

在這篇博文中我們將會實現正則化的線性迴歸以及利用他去學習模型，不同的模型會具有不同的偏差-方差性質，我們將研究正則化以及偏差和方差之間的相互關係和影響。 這一部分的資料是關於通過一個水庫的水位來預測水庫的流水量。為了進行偏差和方差的檢驗，這裡用12組資料進行迴

機器學習之正則化（Regularization）

1. The Problem of Overfitting 1 還是來看預測房價的這個例子，我們先對該資料做線性迴歸，也就是左邊第一張圖。 如果這麼做，我們可以獲得擬合數據的這樣一條直線，但是，實際上這並不是一個很好的模型。我們看看這些資料，很明顯，隨著房子面積增大，住房價格的變化趨於穩定或者說越往右越平緩

系統學習機器學習之正則化（二）

監督機器學習問題無非就是“minimizeyour error while regularizing your parameters”，也就是在規則化引數的同時最小化誤差。最小化誤差是為了讓我們的模型擬合我們的訓練資料，而規則化引數是防止我們的模型過分擬合我們的訓練資料。多麼簡約的哲學啊！因為引數太多，會導致

斯坦福大學機器學習筆記——正則化的邏輯迴歸模型

在上面部落格中我們討論了正則化的線性迴歸模型，下面我們來討論一下正則化的邏輯迴歸模型。 前面我們講述了兩種常用於邏輯迴歸的方法： 基於梯度下降法的邏輯迴歸模型 基於高階優化的邏輯迴歸模型 基於

機器學習 LogsticRegression 正則化(matlab實現)

仍然使用之前的根據學生兩學期分數，預測錄取情況主程式：X = load('ex4x.dat'); y = load('ex4y.dat'); plotData(X,y); [m,n] = size(X)

機器學習筆記：正則化項

在機器學習演算法中如果只使用經驗風險最小化去優化損失函式則很可能造成過擬合的問題，通常我們要在損失函式中加入一些描述模型複雜程度的正則化項，使得模型在擁有較好的預測能力的同時不會因為模型過於複雜而產生過擬合現象，即結構風險最小化 正則化項一般是模型複雜程度的單調

概率統計與機器學習：極大後驗概率以及正則化項

先驗概率 概念：本質上就是古典概型，是利用當前狀態對求解狀態的一種概率估計，可以理解為“由 因求果”中“因”出現的概率。 條件： （1）實驗所有的可能結果是有限的； （2） 每一種出現

L2正則化項為什麼能防止過擬合學習筆記

https://www.cnblogs.com/alexanderkun/p/6922428.html L2 regularization（權重衰減） L2正則化就是在代價函式後面再加上一個正則化項： C0代表原始的代價函式，後面那一項就是L2正則化項，它是這樣來的：所有引數w的平

深度學習基礎--正則化與norm--L1範數與L2範數的聯絡

L1範數與L2範數的聯絡   假設需要求解的目標函式為：E(x) = f(x) + r(x)   其中f(x)為損失函式，用來評價模型訓練損失，必須是任意的可微凸函式，r(x)為規範化約束因子，用來對模型進行限制。   根據模型引數的概率分佈不同，r(x)一般有:   1）L1正規化

影象處理能量泛函優化——L1範數正則化項，軟閾值公式

接上篇更新的L2範數求解的問題，接著講L1範數更新的問題 L1範數正則化項又稱為拉布拉斯先驗。帶有L1正則化項的問題是圖問題，求解相對簡單，具有閉式解。其求解就是著名的軟閾值公式。 問題