在訓練中，我們希望在中間箭頭的位置停止訓練。而Early stopping就可以實現該功能，這時獲得的模型泛化能力較強，還可以得到一箇中等大小的w的弗羅貝尼烏斯範數。其與L2正則化相似，選擇引數w範數較小的神經網路。

可以用L2正則化代替early stopping。因為只要訓練的時間足夠長，多試幾個lambda。總可以得到比較好的結果。

Early stopping:
優點：只執行一次梯度下降，我們就可以找出w的較小值，中間值和較大值。而無需嘗試L2正則化超級引數lambda的很多值。

缺點：不能獨立地處理以上兩個問題，使得要考慮的東西變得複雜。舉例如下：

一般機器學習的步驟分為以上兩步，第一步我們確定一個成本函式J，然後可以用梯度下降等方法去優化它；第二步我們不希望模型發生過擬合，就有正則化等方式去操作，這是一個動態的過程。但是如果採用early stopping，這就相當於用一種方式來控制兩個問題的結束，這會使得問題變得複雜。如圖一所示，在中間位置時，模型已經停止訓練了，而成本函式還沒有下降到合適的區域。