正則化技術

  一種防止過擬合，提高泛化能力的技巧，因此演算法正則化的研究成為機器學習中主要的研究主題。此外，正則化還是訓練引數數量大於訓練資料集的深度學習模型的關鍵步驟。
  正則化可以避免演算法過擬合，過擬合通常發生在演算法學習的輸入資料無法反應真實的分佈且存在一些噪聲的情況。
  在深度學習中，貌似所有的帶來效果收益的操作都是噪聲所帶來的正則化的功勞！

從不同角度理解正則化

  除了泛化原因，奧卡姆剃刀原理和貝葉斯估計也都支援著正則化。根據奧卡姆剃刀原理，在所有可能選擇的模型中，能很好解釋已知資料，並且十分簡單的模型才是較好的模型。而從貝葉斯估計的角度來看，正則化項對應於模型的先驗概率。

  從幾何上可以這樣理解，NN其實就是在一個高維空間上構建了分類面，資料不變的情況下，這個分類面恰好貼合數據，完美fit訓練集，而新增噪聲後，相當於一些資料的位置不停的在變化，使得分類面發生了可包納的資料量增加了，從而增加的泛化能力。

方法

  有多種適合機器學習演算法的正則化方法，如資料增強、L2 正則化（權重衰減）、L1 正則化、Dropout、Drop Connect、隨機池化和早停等。