除了L2正則化和dropout（隨機失活）正則化之外，還有幾種方法可以減少神經網絡的過擬合，即數據集擴增 和 early stopping。

一、數據擴增

　　在計算機視覺數據中，通常做法是對圖片的水平翻轉，以及通過隨意翻轉和放大裁剪等操作。

　　雖然這樣的做法與重新收集的圖片數據相比，少了很多信息，但是這樣做基本沒有花費，代價幾乎為零，除了一些對抗性的代價。以這種方式擴增數據，進而正則化數據集，減少過擬合比較廉價。

二、Early Stopping

　　在訓練過程中，我們希望訓練集誤差與驗證集誤差同時下降，當驗證集誤差下降到某個點後呈上升趨勢而訓練集誤差仍處於下降趨勢，那麽early stopping的作用就是在該點提早停止訓練神經網絡的叠代過程，這樣我們就得到一個中等大小的W的F範數（弗羅貝尼烏斯範數），與L2正則化相似，選擇參數W範數較小的神經網絡，使得神經網絡不至於過擬合。

　　Early Stopping的主要缺點在於：提早停止梯度下降即停止優化代價函數J，導致J的值不夠小，還有就是我們不希望出現過擬合。我們並沒有采取不同的方式來解決這兩個問題，而是使用同一種方法解決兩個問題，這樣做使得問題變得復雜。

　　Early Stopping的有點在於：只需運行一次梯度下降，就可以找出W的範數較小的值，中間值和較大的值，而無需像L2正則化一樣嘗試很多正則化參數lumda而導致搜索lumda的計算代價很高的缺點。

正則化的其他方法