下面左圖即為欠擬合，中圖為合適的擬合，右圖為過擬合。 

過擬合：在模型引數擬合過程中，由於訓練資料包含抽樣誤差，訓練時複雜的模型將抽樣誤差也考慮在內（抽樣誤差也進行了擬合）。模型泛化能力弱，在訓練集上效果好，在測試集上效果差。

導致過擬合的原因（包括但不限於如下幾個）：

訓練樣本過少，不足以對整個樣本空間進行分佈估計;對模型進行過度訓練（overtraining）

​避免過擬合的方法：early stopping、資料集擴增（Data augmentation）、正則化（Regularization）、Dropout等。

1.​early stopping

​模型訓練過程中常用到迭代的思路，例如梯度下降演算法。Early stopping是在迭代收斂之前，就通過一定標準提前終止迭代來防止過擬合。

具體做法是在每個​Epoch結束時（一個Epoch集為對所有的訓練資料的一輪遍歷），檢視模型效能評價指標的變化情況，如果模型效能不再提高，就停止訓練。這裡的重點就是如何確認模型效能不再提高了。以準確率為例，並不是說一旦準確率發生下降就是不再提高了，因為可能經過這個Epoch後，準確率降低了，但是隨後的Epoch又讓準確率又上去了，所以不能根據一兩次的連續降低就判斷不再提高。

判斷準確率是否提高的做法是，在訓練過程中記錄到目前為止最好的準確率，當連續10次Epoch（或若干次）​沒有達到這個最佳準確率時，就認為不會再提高，停止迭代。

2.資料集增擴

​根據獨立同分布假設，更多的資料往往對樣本空間的整體分佈估計更準確，不過實際應用中由於種種原因，並不一定總能獲得足夠的資料，例如成本問題。

通俗得講，資料機擴增即需要得到更多的符合要求的資料，即和已有的資料是獨立同分布的，或者近似獨立同分布的。一般有以下方法：從資料來源頭採集更多資料；複製原有資料並加上隨機噪聲；重取樣；根據當前資料集估計資料分佈引數，使用該分佈產生更多資料等。

3.正則化方法（Regularization）​、權重衰減（weight decay ）

大的權值會使得系統出現過擬合，降低其泛化效能。為了避免出現overfitting,會給誤差函式新增一個懲罰項，常用的懲罰項是所有權重的平方乘以一個衰減常量之和。將權值大小加到cost裡，訓練時用來懲罰大的權值。訓練時一方面降低輸出與樣本之間的誤差，一方面降低權值發大小。參考自

​關於正則化（優化時，在目標函式或代價函式後面加上一個正則項）可以避免過擬合的原因，有如下幾種角度進行解釋：

1）​正則化是假設模型的引數服從先驗概率，即為模型引數新增先驗，不同的正則化方式的先驗分佈不一樣（L1正則是拉普拉斯先驗，而L2正則則是高斯先驗）。規定了引數的分佈，降低了模型的複雜度，增強對噪聲和異常點的抗干擾能力。

2）​L2與L1的區別在於，L1正則是拉普拉斯先驗，而L2正則則是高斯先驗。它們都是服從均值為0，協方差為1/λ。當λ=0時，即沒有先驗。沒有正則項，則相當於先驗分佈具有無窮大的協方差，那麼這個先驗約束則會非常弱，模型為了擬合所有的訓練集資料， 引數w可以變得任意大從而使得模型不穩定，即方差大而偏差小。λ越大，標明先驗分佈協方差越小，偏差越大，模型越穩定。即，加入正則項是在偏差bias與方差variance之間做平衡tradeoff。之前關於正則化介紹中有一幅圖如下：

​上圖中的模型是線性迴歸，有兩個特徵，要優化的引數分別是w1和w2，左圖的正則化是l2，右圖是l1。藍色線就是優化過程中遇到的等高線，一圈代表一個目標函式值，圓心就是樣本觀測值（假設一個樣本），半徑就是誤差值，受限條件就是紅色邊界（就是正則化那部分，我的理解是這個紅色邊界就是限定了先驗分佈），二者相交處，才是最優引數。可見右邊的最優引數只可能在座標軸上，所以就會出現0權重引數，使得模型稀疏。

4 Dropout

這是神經網路中的一種方法，通過修改神經網路本身結構來防止過擬合。

​此外，maxout、DropConnect號稱是對Dropout的改進。可參考http://www.cnblogs.com/tornadomeet/p/3430312.html

總結：

參考自：http://blog.csdn.net/heyongluoyao8/article/details/49429629

https://www.zhihu.com/question/59201590  （寫的很詳細，推薦細看）

轉自：http://blog.sina.com.cn/s/blog_7103b28a0102wozt.html