1. 程式人生 > >從來源的角度解析l1稀疏,l2平滑

從來源的角度解析l1稀疏,l2平滑

為了簡單化模型我們在損失函式中加入了罰項即l1,l2正則化項,l1更趨向於產生少的特徵項而其它特徵項為0,l2更趨向於選擇更多的項而讓這些多的特徵項趨近於0,可能思維能力好的大神們都已經有了模型能理解l1稀疏,l2平滑了,而接下來是通過概率函式模型推演來解釋的,更加直觀
:貝葉斯演算法大量應用於機器學習中,魅力之處在於它可以總結過去,推演未來,簡直跟人腦一樣,而且它的實現相對簡單所以樸素貝葉斯是十分重要的概念。在貝葉斯的理論中,你不僅需要現有的資料還需要加入以往的‘經驗’,在損失函式中加入l1正則化項其實是預設加入的資料符合拉普拉斯分佈,而在損失函式中加入l2正則化項其實是預設加入的資料符合高斯分佈,你的模型在加入了這些前鑑的經驗之後會更加趨近於現實。我們所要的l1的平滑與稀疏就在這兩個分佈中,將拉普拉斯密度函式取對數之後得到的一次項|x-u|就是我們常說的l1正規化,高斯密度函式取對數得到的二次項(x-u)**2就是l2正規化我們繪製並將兩個密度函式的影象疊加在一起就可以清晰地看到所謂的l1稀疏,l2平滑了!在這裡插入圖片描述