正則化(Regularization)

  一種防止過擬合，提高泛化能力的技巧，因此演算法正則化的研究成為機器學習中主要的研究主題。此外，正則化還是訓練引數數量大於訓練資料集的深度學習模型的關鍵步驟。
  正則化可以避免演算法過擬合，過擬合通常發生在演算法學習的輸入資料無法反應真實的分佈且存在一些噪聲的情況。
  一般來說，對分類或者回歸模型進行評估時，需要使得模型在訓練資料上使得損失函式值最小，即使得經驗風險函式最小化，但是如果只考慮經驗風險(Empirical risk)，容易過擬合(詳細參見防止過擬合的一些方法)，因此還需要考慮模型的泛化能力，一般常用的方法便是在目標函式中加上正則項，由損失項(Loss term)加上正則項(Regularization term)構成結構風險(Structural risk)。

  參考資料：
  https://blog.csdn.net/u012162613/article/details/44261657
  http://blog.sina.com.cn/s/blog_7103b28a0102w73g.html
  http://blog.csdn.net/zouxy09/article/details/24971995/

正則化公式

  1）正則項，有L1、L2正則化。
  2）正則項係數，一般用λ表示，權衡正則項與C0項的比重。
  如果是L2正則化，則正則項還會乘以1/2，原因是正則項求導後的會產生一個2，與1/2相乘剛好湊整。