為什麼L1正則項產生稀疏的權重，L2正則項產生相對平滑的權重

阿新 • • 發佈：2019-01-10

L1 和L2正則項的定義如下：
$L1 = \sum_{i} |w_i|\\ L2 = \sum_{i} (w_i)^2$
首先我們先計算一下他們對應的導數，匯入如下所示：
$\frac{\partial L 1}{\partial}$

wi=1or−1→wit+1=wit+η(−1or1)∂L2∂wi=wi→wit+1=wit+ηwi" role="presentation">

\frac{\partial L 1}{\partial w_{i}} = 1 o r - 1 \to w_{i}^{t + 1} = w_{i}^{t} + η (- 1 o r 1) \frac{\partial L 2}{\partial w_{i}} = w_{i} \to w_{i}^{t + 1} = w_{i}^{t} + η w_{i}

$\frac{\partial L1}{\partial w_i} = 1 or -1 \rightarrow w^{t+1}_i = w^t_i + \eta {(-1 or 1)}\\ \frac{\partial L2}{\partial w_i} = w_i \rightarrow w^{t+1}_i = w^t_i + \eta w_i$

所以我們看到L1每次更新的時候會更新一個定值，那麼若干次迭代之後，權重就有可能減少為0。但是L2每個更新的時候更新的值的大小和

w_{i}

$w_i$ 的值是有關係的。當

w_{i}

$w_i$ 趨近與0時，那麼對應的導數值也會更新，所以他會不停的接近0，但並不會是0。此外，我們還可以得到，L2相對L1更穩定一些。

L1 產生0的權重也可以起到特徵選擇的作用，假設我們有

X_{0} . . . X_{i} . . . X_{n}

$X_0...X_i...X_n$ n個特徵，通過分配不同的權重

w_{0} . . . w_{i} . . . w_{n}

$w_0...w_i...w_n$ ，然後使用L1 來做特徵選擇。

L2 可以迅速產生接近0的權值，但並不是0，所以會比較平滑。

此外，我們還可以從幾何的角度來理解。

假設我們的Loss函式是 $(y - wx)^2$ , 那麼我們的幾何解釋如下圖所示：
其中左圖表示L1，右圖表示L2。綠色代表的是loss的等高線， $w_1, w_2$ 在L1中的取值空間如左圖的菱形所示。在L2中的取值空間如右圖的圓形所示。從等高線和取值空間的交點可以看到L1更容易傾向一個權重偏大一個權重為0。L2更容易傾向權重都較小。

主要參考

為什麼L1正則項產生稀疏的權重，L2正則項產生相對平滑的權重

L1 和L2正則項的定義如下： L1=∑i|wi|L2=∑i(wi)2 L 1 =

L1和L2正則化。L1為什麼能產生稀疏值，L2更平滑

參考部落格：https://zhuanlan.zhihu.com/p/35356992 　　　　　https://zhuanlan.zhihu.com/p/25707761 　　　　　https://www.zhihu.com/question/37096933/answer/70426653 　　首先

l1正則化的稀疏表示和l2正則化的協同表示

這些天一直在看稀疏表示和協同表示的相關論文，特此做一個記錄：這篇文章將主要討論以下的問題： 1.稀疏表示是什麼？ 2.l1正則化對於稀疏表示的幫助是什麼，l0,l1,l2,無窮範數的作用？ 3.稀疏表示的robust為什麼好？ 4.l2正則化的協同表

深入剖析迴歸（二）L1，L2正則項，梯度下降

一、迴歸問題的定義迴歸是監督學習的一個重要問題，迴歸用於預測輸入變數和輸出變數之間的關係。迴歸模型是表示輸入變數到輸出變數之間對映的函式。迴歸問題的學習等價於函式擬合：使用一條函式曲線使其很好的擬合已知函式且很好的預測未知資料。迴歸問題分為模型的學習和預測兩個

L1，L2正則化

正則化引入的思想其實和奧卡姆剃刀原理很相像，奧卡姆剃刀原理：切勿浪費較多東西，去做，用較少的東西，同樣可以做好的事情。正則化的目的：避免出現過擬合（over-fitting）經驗風險最小化 + 正則化項 = 結構風險最小化經驗風險最小化（ERM），是為了讓擬合的誤差足夠小，即：對訓

理解：L1正則先驗分佈是Laplace分佈，L2正則先驗分佈是Gaussian分佈

轉自：https://blog.csdn.net/m0_38045485/article/details/82147817 L1、L2正則化來源推導 L1L2的推導可以從兩個角度：帶約束條件的優化求解（拉格朗日乘子法）貝葉斯學派的：最大後驗概率 1.1 基於約束條件的最優化對於模型權重

理解：L1正則先驗分佈是Laplace分佈，L2正則先驗分佈是Gaussian分佈——複習篇

L1、L2正則化來源推導 L1L2的推導可以從兩個角度：帶約束條件的優化求解（拉格朗日乘子法）貝葉斯學派的：最大後驗概率 1.1 基於約束條件的最優化對於模型權重係數w的求解釋通過最小化目標函式實現的，也就是求解：首先，模型的複雜度可以用VC來衡量。通

dropout和L1，L2正則化的理解筆記

理解dropout from http://blog.csdn.net/stdcoutzyx/article/details/49022443 123 開篇明義，dropout是指在深度學習網路的訓練過程中，對於神經網路單元，按照一定的概率將其暫時從網路

機器學習筆記（二）L1，L2正則化

2.正則化 2.1 什麼是正則化？ (截自李航《統計學習方法》) 常用的正則項有L1，L2等，這裡只介紹這兩種。 2.2 L1正則項 L1正則，又稱lasso，其公式為： L1=α∑kj=1|θj| 特點：約束θj的大小，並且可以產

java手寫邏輯迴歸包括L1，L2正則實現

作為一枚機器學習的愛好者，邏輯迴歸算是一個簡單入門的演算法，原理比較簡單，但是自己手動實現邏輯迴歸有一些要注意的事項：第一是步長選擇的問題，根據你的資料大小來選擇。第二是自己手動可選擇加不加入常數項，用於做訓練。第三是實際寫程式碼用的梯度上升程式碼來求解，演算法原理建

l2-loss，l2範數，l2正則化，歐式距離

access src 梯度 com inf content 開平 nbsp alt 歐式距離： l2範數： l2正則化： l2-loss(也叫平方損失函數)： http://openaccess.thecvf.com/content_cvpr_2017/papers

Tensorflow實現Xaiver初始化、權重寫入L2正則、新增LRN層

源自Tensorflow實戰的黃文堅、唐源書中的啟發： def xavier_init(fan_in, fan_out, constant = 1): low = -constant * np.sqrt(6.0 / (fan_in + fan_out))

Java 表單註冊常用正則表示式驗證工具類，常用正則表示式大集合。 1. 電話號碼 2. 郵編 3. QQ 4. E-mail 5. 手機號碼 ……

/* Java 表單註冊常用正則表示式驗證工具類，常用正則表示式大集合。 1. 電話號碼 2. 郵編 3. QQ 4. E-mail 5. 手機號碼 6. URL 7. 是否為數字 8. 是否為中文 9. 身份證 10. 域名 11. IP*/ pack

【fifan的專欄】夫君子之行，靜以修身，儉以養德。非淡泊無以明志，非寧靜無以致遠。夫學須靜也，才須學也，非學無以廣才，非志無以成學。淫慢則不能勵精，險躁則不能治性。年與時馳，意與日去，遂成枯落，多不接世，悲守窮廬，將復何及！

夫君子之行，靜以修身，儉以養德。非淡泊無以明志，非寧靜無以致遠。夫學須靜也，才須學也，非學無以廣才，非志無以成學。淫慢則不能勵精，險躁則不能治性。年與時馳，意與日去，遂成枯落，多不接世，悲守窮廬，將復...

PHPCMS V9頻道頁迴圈子欄目內容（子欄目為單頁則輸出標題和內容，為列表則輸出欄目名稱和分頁列表）

注意：頻道下的子欄目最多隻能有一個分頁列表欄目（否則分頁會有問題），單頁面不限。效果如下圖：頻道頁模板如下：<div class="prointro"> <?php $page = $

L1、L2 正則項詳解 - 解空間、先驗分佈、最大似然估計 and 最大後驗估計

L1、L2 正則項詳解（解空間、先驗分佈）引入直觀看解空間先驗分佈最大似然估計最大後驗估計引入線上性迴歸

Python開發基礎-Day15正則表達式爬蟲應用，configparser模塊和subprocess模塊

表達 port 進行 false popen ext signal -- 默認正則表達式爬蟲應用（校花網） 1 import requests 2 import re 3 import json 4 #定義函數返回網頁的字符串信息 5 def getPage_

Python基礎----正則表達式爬蟲應用，configparser模塊和subprocess模塊

stdin alt 輸入 -h 但是狀態 swd 有效 tle 正則表達式爬蟲應用（校花網） 1 import requests 2 import re 3 import json 4 #定義函數返回網頁的字符串信息 5 def getPage_str(u

java正則以什麽開始，以什麽結束

java void color 裏的 find() main bsp regex 一個 public class RegTest { public static void main(String[] args){ String regex

正則表達式（Java，C#，C++）

matcher expr com mar mat c# ever arr reac Java import java.util.Arrays; import java.util.regex.Matcher; import java.util.regex.Pattern;

為什麼L1正則項產生稀疏的權重，L2正則項產生相對平滑的權重

相關推薦