原文地址：一隻鳥的天空，http://blog.csdn.net/heyongluoyao8/article/details/49429629

防止過擬合的處理方法

過擬合

  我們都知道，在進行資料探勘或者機器學習模型建立的時候，因為在統計學習中，假設資料滿足獨立同分布（i.i.d，independently and identically distributed），即當前已產生的資料可以對未來的資料進行推測與模擬，因此都是使用歷史資料建立模型，即使用已經產生的資料去訓練，然後使用該模型去擬合未來的資料。但是一般獨立同分布的假設往往不成立，即資料的分佈可能會發生變化（distribution drift），並且可能當前的資料量過少，不足以對整個資料集進行分佈估計，因此往往需要防止模型過擬合，提高模型泛化能力。而為了達到該目的的最常見方法便是：正則化，即在對模型的目標函式（objective function）或代價函式（cost function）加上正則項。 
  在對模型進行訓練時，有可能遇到訓練資料不夠，即訓練資料無法對整個資料的分佈進行估計的時候，或者在對模型進行過度訓練（overtraining）時，常常會導致模型的過擬合（overfitting）。如下圖所示： 

 
  通過上圖可以看出，隨著模型訓練的進行，模型的複雜度會增加，此時模型在訓練資料集上的訓練誤差會逐漸減小，但是在模型的複雜度達到一定程度時，模型在驗證集上的誤差反而隨著模型的複雜度增加而增大。此時便發生了過擬合，即模型的複雜度升高，但是該模型在除訓練集之外的資料集上卻不work。 
  為了防止過擬合，我們需要用到一些方法，如：early stopping、資料集擴增（Data augmentation）、正則化（Regularization）、Dropout等。

Early stopping

  對模型進行訓練的過程即是對模型的引數進行學習更新的過程，這個引數學習的過程往往會用到一些迭代方法，如梯度下降（Gradient descent）學習

演算法。Early stopping便是一種迭代次數截斷的方法來防止過擬合的方法，即在模型對訓練資料集迭代收斂之前停止迭代來防止過擬合。 
  Early stopping方法的具體做法是，在每一個Epoch結束時（一個Epoch集為對所有的訓練資料的一輪遍歷）計算validation data的accuracy，當accuracy不再提高時，就停止訓練。這種做法很符合直觀感受，因為accurary都不再提高了，在繼續訓練也是無益的，只會提高訓練的時間。那麼該做法的一個重點便是怎樣才認為validation accurary不再提高了呢？並不是說validation accuracy一降下來便認為不再提高了，因為可能經過這個Epoch後，accuracy降低了，但是隨後的Epoch又讓accuracy又上去了，所以不能根據一兩次的連續降低就判斷不再提高。一般的做法是，在訓練的過程中，記錄到目前為止最好的validation accuracy，當連續10次Epoch（或者更多次）沒達到最佳accuracy時，則可以認為accuracy不再提高了。此時便可以停止迭代了（Early Stopping）。這種策略也稱為“No-improvement-in-n”，n即Epoch的次數，可以根據實際情況取，如10、20、30……

資料集擴增

  在資料探勘領域流行著這樣的一句話，“有時候往往擁有更多的資料勝過一個好的模型”。因為我們在使用訓練資料訓練模型，通過這個模型對將來的資料進行擬合，而在這之間又一個假設便是，訓練資料與將來的資料是獨立同分布的。即使用當前的訓練資料來對將來的資料進行估計與模擬，而更多的資料往往估計與模擬地更準確。因此，更多的資料有時候更優秀。但是往往條件有限，如人力物力財力的不足，而不能收集到更多的資料，如在進行分類的任務中，需要對資料進行打標，並且很多情況下都是人工得進行打標，因此一旦需要打標的資料量過多，就會導致效率低下以及可能出錯的情況。所以，往往在這時候，需要採取一些計算的方式與策略在已有的資料集上進行手腳，以得到更多的資料。 
  通俗得講，資料機擴增即需要得到更多的符合要求的資料，即和已有的資料是獨立同分布的，或者近似獨立同分布的。一般有以下方法：

• 從資料來源頭採集更多資料
• 複製原有資料並加上隨機噪聲
• 重取樣
• 根據當前資料集估計資料分佈引數，使用該分佈產生更多資料等

正則化方法

  正則化方法是指在進行目標函式或代價函式優化時，在目標函式或代價函式後面加上一個正則項，一般有L1正則與L2正則等。

• L1正則 
    L1正則是基於L1範數，即在目標函式後面加上引數的L1範數和項，即引數絕對值和與引數的積項，即： 
  C=C0+λn∑w|w|
  其中 C0 代表原始的代價函式， n 是樣本的個數， λ 就是正則項係數，權衡正則項與 C0 項的比重。後面那一項即為L1正則項。 
    在計算梯度時， w 的梯度變為： 
  ∂C∂w=∂C0∂w+λnsgn(w)
  其中， sgn 是符號函式，那麼便使用下式對引數進行更新： 
  w:=w+α∂C0∂w+βλnsgn(w)
  對於有些模型，如線性迴歸中（L1正則線性迴歸即為Lasso迴歸），常數項 b 的更新方程不包括正則項，即： 
  b:=b+α∂C0∂b
  其中，梯度下降演算法中， α<0,β<0 ，而在梯度上升演算法中則相反。 
    從上式可以看出，當 w 為正時，更新後 w 會變小；當 w 為負時，更新後 w 會變大；因此L1正則項是為了使得那些原先處於零（即 |w|≈0 ）附近的引數 w 往零移動，使得部分引數為零，從而降低模型的複雜度（模型的複雜度由引數決定），從而防止過擬合，提高模型的泛化能力。 
    其中，L1正則中有個問題，便是L1範數在0處不可導，即 |w| 在0處不可導，因此在 w 為0時，使用原來的未經正則化的更新方程來對 w 進行更新，即令 sgn(0)=0 ，這樣即： 
  sgn(w)|w>0=1,sgn(w)|
  相關推薦

  深度學習之減少過擬合的可能性

  原文地址：一隻鳥的天空，http://blog.csdn.net/heyongluoyao8/article/details/49429629 防止過擬合的處理方法 過擬合   我們都知道，在進行資料探勘或者機器學習模型建立的時候，因為在統計學習中，假設資料滿足獨立同分布

  機器學習/深度學習入門：過擬合問題

  關於神經網路中過擬合的問題小記。 在訓練的時候你的模型是否會出現訓練時速度很慢？或者預測結果與訓練結果相差過大的現象？那我們可能就需要處理一下過擬合的問題了。 當你的模型過於複雜時，比如說輸入引數過多，你的模型就會出現過擬合問題，該模型雖然會在訓練集上表現出較好的預測結果

  深度學習中解決過擬合的方法

  1.    正則化(regularization)正則化是指修改學習演算法，使其降低泛化誤差而非訓練誤差。1)     L2正則化，也稱權重衰減(weight decay)，正則項為加入正則化後，總的目標函式為：求其偏導:梯度下降更新權重:所以，加入權重衰減後會引起學習規則的

  機器學習的防止過擬合方法

  alt int 變化 http 處理 提高 pro 無法 structure 過擬合 ??我們都知道，在進行數據挖掘或者機器學習模型建立的時候，因為在統計學習中，假設數據滿足獨立同分布（i.i.d，independently and identically distribu

  機器學習中防止過擬合方法

  從數據 tro 輸出 效果 沒有 imagenet neu 效率 公式 過擬合 ??在進行數據挖掘或者機器學習模型建立的時候，因為在統計學習中，假設數據滿足獨立同分布，即當前已產生的數據可以對未來的數據進行推測與模擬，因此都是使用歷史數據建立模型，即使用已經產生的數據去訓練

  嶺回歸——減少過擬合問題

  axis ear git 分享 根據 cal app 訓練 lin 什麽是過擬合？ 在訓練假設函數模型h時，為了讓假設函數總能很好的擬合樣本特征對應的真實值y，從而使得我們所訓練的假設函數缺乏泛化到新數據樣本能力。 怎樣解決過擬合 過擬合會在變量過多同時過少的訓練時發生

  機器學習中的過擬合和欠擬合現象，以及通過正則化的方式解決。

  過擬合： 過擬合（over-fitting）是所建的機器學習模型或者是深度學習模型在訓練樣本中表現得過於優越，導致在驗證資料集以及測試資料集中表現不佳的現象。就像上圖中右邊的情況。 過擬合的模型太過具體從而缺少泛化能力，過度的擬合了訓練集中的資料。出現的原因是模型將其中的不重要的變

  【Keras】減少過擬合的祕訣——Dropout正則化

   Dropout正則化是最簡單的神經網路正則化方法。其原理非常簡單粗暴：任意丟棄神經網路層中的輸入，該層可以是資料樣本中的輸入變數或來自先前層的啟用。它能夠模擬具有大量不同網路結構的神經網路，並且反過來使網路中的節點更具有魯棒性。 閱讀完本文，你就學會了在Keras框架中，如何將深度學習神經網路D

  為什麼正則化（Regularization）可以減少過擬合風險

  在解決實際問題的過程中，我們會傾向於用複雜的模型來擬合複雜的資料，但是使用複雜模型會產生過擬合的風險，而正則化就是常用的減少過擬合風險的工具之一。過擬合過擬合是指模型在訓練集上誤差很小，但是在測試集上表現很差(即泛化能力差)，過擬合的原因一般是由於資料中存在噪聲或者用了過於複

  機器學習問題中過擬合出現的原因及解決方案

  如果一味的追求模型的預測能力，所選的模型複雜度就會過高，這種現象稱為過擬合。模型表現出來的就是訓練模型時誤差很小，但在測試的時候誤差很大。 一、產生的原因： 1.樣本資料問題 樣本資料太少 樣本抽樣不符合業務場景 樣本中的噪音資料影響 2.模型問題 模型複雜度高，引

  神經網路與深度學習 筆記5 過度擬合和正則化

  1.過擬合 模型複雜而訓練樣本不足，過度訓練，會導致過度擬合。 訓練資料集上的代價表現是越來越好的，測試集上的代價越來越差。訓練資料上的分類準確率一直在提升接近 100%，而測試準確率僅僅能夠達到 82.27%。 網路幾乎是在單純記憶訓練集合,而沒有對數字本質進行理解能

  機器學習中：過擬合（overfitting）和欠擬合（underfitting）

  Underfitting is easy to check as long as you know what the cost function measures. The definition of the cost function in linear regression is half the me

  Hinton Neural Networks課程筆記3e：如何利用梯度值訓練網路（學習策略和過擬合抑制）

  這裡只是開了個頭，籠統的講了講如何利用梯度值訓練網路，包括優化演算法的部分以及防止過擬合的部分。 1. 優化演算法的部分 這裡只提到了三個部分（具體要到第六節才講）：batch相關的抉擇、學習率相關的選擇、優化演算法的選擇。 batch相關的選項有

  Coursera | Andrew Ng (02-week-1-1.5)—為什麼正則化可以減少過擬合？

  該系列僅在原課程基礎上部分知識點添加個人學習筆記，或相關推導補充等。如有錯誤，還請批評指教。在學習了 Andrew Ng 課程的基礎上，為了更方便的查閱複習，將其整理成文字。因本人一直在學習英語，所以該系列以英文為主，同時也建議讀者以英文為主，中文輔助，以便後期

  20171028機器學習之線性回歸過擬合問題的解決方案

  ces 函數 彈性 alpha mach rom 定性 ast cep 在函數中加入一個正則項： 三種方式： 一、Ridge回歸（嶺回歸）： 　　優點：具有較高的準確性、魯棒性以及穩定性 　　缺點：求解速度慢 二、Lasso回歸： 　　優點：求解速度快（原理降維計算

  機器學習之路： python線性回歸 過擬合 L1與L2正則化

  擬合 python sco bsp orm AS score 未知數 spa git：https://github.com/linyi0604/MachineLearning 正則化： 提高模型在未知數據上的泛化能力 避免參數過擬合正則化常用的方法： 在目

  tensorflow學習之路---解決過擬合

  應該 神經元 drop 想去 var ram 常用 圖片 result ‘‘‘ 思路：1、調用數據集 2、定義用來實現神經元功能的函數（包括解決過擬合） 3、定義輸入和輸出的數據4、定義隱藏層（函數）和輸出層（函數） 5、分析誤差和優化數據（改變權重）6、執行神經網絡 ‘‘

  深度學習---過擬合與欠擬合

  一、認識過擬合與欠擬合 經典圖示，其中： 圖1：欠擬合表示：模型不能在訓練集上獲得足夠低的訓練誤差，即：沒有學習到； 圖3：過擬合表示：模型的訓練誤差與測試誤差之間差距較大，即：在訓練集上表現好，在測試集和新資料上表現一般，過學習。 二、解決過擬合的方法 深度學習中常見於解

  深度學習常見策略總結(優化器選擇，防止過擬合策略）

  1. 優化器的選擇  關於深度學習各種優化器的介紹和對比在網上有很多圖文並茂的講解，比如我上一篇博文轉載的文章：深度學習——優化器演算法Optimizer詳解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）。有需要的

  吳恩達機器學習之過擬合問題

  一、過擬合問題：———什麼是過度擬合問題？ 1.1兩個例子： 例子一：　　　　　 　　　　　　　　　　　　　　　　　 模型假設函式 的形式：　　　　　　　　　　　　　一次函式　　　　　　　　　　　　　　　　　二次函式　　　　　　　　　　　　　　　　高階多項式   模型擬合效果：