2. 程式人生 > >深度學習:正則化方法

深度學習:正則化方法

阿新 • • 發佈：2019-01-15

正則化是機器學習中非常重要並且非常有效的減少泛華誤差的技術，特別是在深度學習模型中，由於其模型引數非常多非常容易產生過擬合。因此研究者也提出很多有效的技術防止過擬合，比較常用的技術包括：

  1. 引數新增約束，例如L1、L2範數等
  2. 訓練集合擴充，例如新增噪聲、資料變換等
  3. Dropout

該文主要介紹深度學習中比較常見幾類正則化方法以及常用引數選擇，並試圖解釋其原理。

正則化技術

引數懲罰

通過對模型引數新增懲罰引數來限制模型能力，常用的就是在損失函式基礎上新增範數約束。

J˜(θ;,X,y)=J(θ;X,y)+αΩ(θ)

通常情況下，深度學習中只對仿射引數w新增約束，對偏置項不加約束。主要原因是偏置項一般需要較少的資料就能精確的擬合。如果新增約束常常會導致欠擬合。

L2正則

引數約束新增L2範數懲罰項，該技術也稱之為Weight Decay、嶺迴歸、Tikhonov regularization等。

J˜(w;X,y)=J(w;X,y)+12α||w||2
通過最優化技術，例如梯度相關方法可以很快推匯出，引數優化公式為 w=(1−ϵα)w−ϵ∇J(w)
其中ϵ為學習率，相對於正常的梯度優化公式，對引數乘上一個縮減因子。

假設J是一個二次優化問題時，模型引數可以進一步表示為w˜i=λiλi+αwi，即相當於在原來的引數上添加了一個控制因子，其中λ是引數Hessian矩陣的特徵值。由此可見
1. 當λi>>α

時，懲罰因子作用比較小。
2. 當λi<<α時，對應的引數會縮減至0

L1正則

對模型引數新增L1範數約束，即

J˜(w;X,y)=J(w;X,y)+α||w||1
如果通過梯度方法進行求解時，引數梯度為 ∇J˜(w)=αsign(w)+∇J(w)

特殊情況下，對於二次優化問題，並且假設對應的Hessian矩陣是對角矩陣，可以推匯出引數遞推公式為wi=sign(w∗i)max(|w∗i|−αλi,0)，從中可以看出
當|w∗i|<αλi時，對應的引數會縮減到0，這也是和L2正則不同地方。
對比L2優化方法，L2不會直接將引數縮減為0，而是一個非常接近於0的值。

L2 VS L1

主要區別如下：

  1. 通過上面的分析，L1相對於L2能夠產生更加稀疏的模型，即當L1正則在引數w比較小的情況下，能夠直接縮減至0.因此可以起到特徵選擇的作用，該技術也稱之為 LASSO
  2. 如果從概率角度進行分析，很多範數約束相當於對引數新增先驗分佈，其中L2範數相當於引數服從高斯先驗分佈；L1範數相當於拉普拉斯分佈。

範數約束-約束優化問題

從另外一個角度可以將範數約束看出帶有引數的約束優化問題。帶有引數懲罰的優化目標為

J˜(θ;,X,y)=J(θ;X,y)+αΩ(θ)
帶約束的最優問題，可以表示為 minJ(θ;X,y)s.t.Ω(θ)<k 通過KKT條件進行求解時，對應的拉格朗日函式為 L(θ,α;x,y)=J(θ;x,y)+α(Ω(θ)−k)

從約束優化問題也可以進一步看出，L1相對於L2能產生更稀疏的解。
這裡寫圖片描述
從圖中可以看出，L1最優解常常出現在定點處，此時某些維度上的值肯定為0.

資料集合擴充

防止過擬合最有效的方法是增加訓練集合，訓練集合越大過擬合概率越小。資料集合擴充是一個省時有效的方法，但是在不同領域方法不太通用。
1. 在目標識別領域常用的方法是將圖片進行旋轉、縮放等（圖片變換的前提是通過變換不能改變圖片所屬類別，例如手寫數字識別，類別6和9進行旋轉後容易改變類目）
2. 語音識別中對輸入資料新增隨機噪聲
3. NLP中常用思路是進行近義詞替換
4. 噪聲注入，可以對輸入新增噪聲，也可以對隱藏層或者輸出層新增噪聲。例如對於softmax 分類問題可以通過 Label Smoothing技術新增噪聲，對於類目0-1新增噪聲，則對應概率變成ϵk,1−k−1kϵ

Dropout

Dropout是一類通用並且計算簡潔的正則化方法，在2014年被提出後廣泛的使用。
簡單的說，Dropout在訓練過程中，隨機的丟棄一部分輸入，此時丟棄部分對應的引數不會更新。相當於Dropout是一個整合方法，將所有子網路結果進行合併，通過隨機丟棄輸入可以得到各種子網路。例如
這裡寫圖片描述
例如上圖，通過不同的輸入遮蔽相當於學習到所有子網路結構。

因此前向傳播過程變成如下形式：
這裡寫圖片描述
相當於每層輸入多了一個遮蔽向量μ來控制該層有哪些輸入會被遮蔽掉。

經驗：原始輸入每一個節點選擇概率0.8，隱藏層選擇概率為0.5

Dropout預測策略

既然Dropout過程類似於整合方法，預測時需要將所有相關模型進行求平均，對於Dropout而言∑μp(μ)p(y|x,μ)，然而遍歷所有遮蔽變數不是可能的事情，因此需要一些策略進行預測。
1. 隨機選擇10-20個遮蔽向量就可以得到一個較好的解。
2. 採用幾何平均然後在歸一化的思路。

p˜ensemble(y|x)=2d∏μp(y|x,μ)−−−−−−−−−√pensemble(y|x)=p˜ensemble(y|x)∑ip˜ensemble(

相關推薦

深度學習:正則化方法

正則化是機器學習中非常重要並且非常有效的減少泛華誤差的技術，特別是在深度學習模型中，由於其模型引數非常多非常容易產生過擬合。因此研究者也提出很多有效的技術防止過擬合，比較常用的技術包括： 引數新增約束，例如L1、L2範數等訓練集合擴充，例如新增噪聲、資料變換等D

深度學習正則化---提前終止

VM bsp jsb img tle 過程 部分 pos mdf 提前終止 ??在對模型進行訓練時，我們可以將我們的數據集分為三個部分，訓練集、驗證集、測試集。我們在訓練的過程中，可以每隔一定量的step，使用驗證集對訓練的模型進行預測，一般來說，模型在訓練集和驗證集的損失

深度學習正則化---數據增強

clas pos 深度 偏移 噪聲 不同 更多 種類 圖片尺寸 在深度學習應用中訓練數據往往不夠，可以通過添加噪聲、裁剪等方法獲取更多的數據。另外，考慮到噪聲的多樣性，可以通過添加不同種類的噪聲獲取更多類型的數據，比如裁剪、旋轉、扭曲、拉伸等不同的方法生成不同的數據。 主要

深度學習正則化-引數範數懲罰（L1,L2範數）

L0範數懲罰 機器學習中最常用的正則化措施是限制模型的能力，其中最著名的方法就是L1和L2範數懲罰。         假如我們需要擬合一批二次函式分佈的資料，但我們並不知道資料的分佈規律，我們可能會先使用一次函式去擬合，再

深度學習正則化

以前總是不瞭解什麼是正則化   今天看書 算是有點體會   根據阿卡姆剃刀原理，如果一件事情有兩種解釋，那麼相對簡單的那個解釋更可能是正確的解釋，即假設更少的那個。 這個原理用在神經網路中，給定一些訓練資料和一種網路架構，很多組權重值（即很多種模型）都可以解釋這些資料，簡

機器學習 - 正則化方法：L1和L2 regularization、資料集擴增、dropout

正則化方法：防止過擬合，提高泛化能力   常用的正則化方法有：L1正則化；L2正則化；資料集擴增；Droupout方法   (1) L1正則化 (2) L2正則化 (3) Droupout 【參考】https://blog.cs

深度學習正則化Tricks——dropout

drop Out——神經網路中的模型平均 寫在前面 帶我入機器學習的偉大導師Andrew Ng曾經做過一個非常好的比喻。他把深度學習比作火箭，對於一個火箭來說，最重要的一部分必然是引擎，而在這個領域，目前來看引擎的核心是神經網路。但是要讓一個火箭執行，除了的

[機器學習]正則化方法 -- Regularization

       首先了解一下正則性（regularity），正則性衡量了函式光滑的程度，正則性越高，函式越光滑。（光滑衡量了函式的可導性，如果一個函式是光滑函式，則該函式無窮可導，即任意n階可導）。        機器學習中幾乎都可以看到損失函式後面會新增一個額外項，常用的額外

吳恩達深度學習筆記(34)-你不知道的其他正則化方法

其他正則化方法（Other regularization methods） 除了L2正則化和隨機失活（dropout）正則化，還有幾種方法可以減少神經網路中的過擬合: 一.資料擴增 假設你正在擬合貓咪圖片分類器，如果你想通過擴增訓練資料來解決過擬合，但擴增資料代價高，而且有

【深度學習理論】正則化方法：L1、L2、資料擴增、Dropout

正則化 在訓練資料不夠多時，或者過度訓練時，常常會導致overfitting（過擬合）。隨著訓練過程的進行，模型複雜度增加，在train data上的error漸漸減小，但是在驗證集上的err

【機器學習】正則化方法

正則化方法：L1和L2 regularization、資料集擴增、dropout 正則化方法：防止過擬合，提高泛化能力，減少部分特徵的權重，進而忽略部分無關緊要的特徵。因為考慮全部特徵會將噪聲加入進去，也就導致過擬合。 在訓練資料不夠多時，或者overtraining時，常常會導致overf

機器學習中的正則化方法

引數範數懲罰 L1 L2 regularization 正則化一般具有如下形式：（結構風險最小化） 其中，第一項是經驗風險，第二項是正則化項，lambda>=0為調整兩者之間關係的係數。 正則化項可以取不同的形式，如引數向量w的L2範數：

正則化方法 L1和L2 regularization 資料集擴增 dropout

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

損失函式正則化方法

正則化方法 為防止模型過擬合，提高模型的泛化能力，通常會在損失函式的後面新增一個正則化項。L1正則化和L2正則化可以看做是損失函式的懲罰項。所謂【懲罰】是指對損失函式中的某些引數做一些限制 L1正則化(ℓ1 -norm) 使用L1正則化的模型建叫做Lasso Regulariza

機器學習——正則化-L2

學了線性迴歸和邏輯迴歸後不得不提一下正則化 正則化是解決過擬合問題,是機器學習演算法中為防止資料過擬合而採取的“懲罰”措施。 擬合:通俗的講就是貼近的關係，擬合的三種狀態，欠擬合（貼的不夠緊），just right(剛剛好，恰到好處)，過擬合（貼的太緊，以至於很容易出錯，不能泛化） 故事： 校服的故事

神經網路正則化方法

正則化方法：防止過擬合，提高泛化能力 在訓練資料不夠多時，或者overtraining時，常常會導致overfitting（過擬合）。其直觀的表現如下圖所示，隨著訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻

機器學習正則化

正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x=(x1,x2,x3,...,xn)，常用的向量的範數如下： L0範數：向量非零元素的個數 L1範數：向量各個元素絕對值之和 ，也被稱為“稀疏規則運算元” L2範數：向量各個元素的平方和然

正則化方法：L1和L2 regularization、資料集擴增、dropout

正則化方法：防止過擬合，提高泛化能力 在訓練資料不夠多時，或者overtraining時，經常會導致overfitting（過擬合）。其直觀的表現例如以下圖所看到的。隨著訓練過程的進行，模型複雜度新增，在training data上的error漸漸減小。可是在驗證集上的error卻反而漸漸增

[一種通用的正則化方法Dropout] 深入理解Dropout正則化思想和實現方法

論文題目： Dropout: A Simple Way to Prevent Neural Networks from Overfitting （1）過擬合問題： 具有大量引數的深度神經網路是非常強大的機器學習系統。然而，在這樣的網路中，過度擬合是一個嚴重的問題。 包含多個非線性隱含

正則化方法小結

來自：https://mp.weixin.qq.com/s/CDMBQPgzcrjbZ_sX01q2hQ   在演算法中使用正則化的目的是防止模型出現過擬合。 提到正則化，想到L1範數和L2範數。在這之前，先看LP範數是什麼。   LP範數 範數簡單理解為向量空間中的距離，距離