L1範數與L2範數的聯絡

  假設需要求解的目標函式為：E(x) = f(x) + r(x)
  其中f(x)為損失函式，用來評價模型訓練損失，必須是任意的可微凸函式，r(x)為規範化約束因子，用來對模型進行限制。

  根據模型引數的概率分佈不同，r(x)一般有:
  1）L1正規化約束(模型服從拉普拉斯分佈)，
  2）L2正規化約束(模型服從高斯分佈）
  3）L1正規化可以產生比較稀疏的解，具備一定的特徵選擇的能力，在對高維特徵空間進行求解的時候比較有用；L2正規化主要是為了防止過擬合。

最小化誤差的L1範數等價於對拉普拉斯噪聲的MLE

  看過laplace分佈的概率密度函式會發現，laplace分佈是尖尖的分佈，服從laplace分佈的資料就是稀疏的了(只有很小的概率有值,大部分概率值都很小或為0)。
  如果取對數,剩下的是一個一次項|x-u|,這就是L1正規化。所以用L1正規化去正則,就假定了你的資料是laplace分佈,是稀疏的。

最小化誤差的L2範數等價於對高斯噪聲的MLE

  如果你去看看高斯分佈的概率密度函式P(x)，你會發現取對數後的log(P(x))就剩下一個平方項了，這就是L2正規化的由來–高斯先驗。