1. 程式人生 > >感知機核心演算法的兩種理解!

感知機核心演算法的兩種理解!

一.感知機模型

  • f(x)=sign(wx+b)

    感知機是一種線性分類模型,屬於判別模型.
    

二. 感知機學習策略

  • 損失函式

    L(w,b)=xiMyi(wxi+b)
    • yi(wxi+b)表示點(xi,yi)到分割超平面y=wx+b的函式距離
    • M為誤分類點的集合
  • 核心思想1:感知機的損失函式也就是所有誤分類點到分割超平面的函式距離的總和.因為一個特定樣本點的函式距離,誤分類時是w,b的線性函式,所以,感知機的損失函式也就是w,b的連續可導的線性函式,有了這個關於引數的線性函式,就可以通過樣本點來做優化.

三:感知機學習演算法

    這是本文的重點,從兩個角度解釋感知機學習演算法!

1.幾何方法

幾何角度解釋感知機學習演算法

    這個圖片能很好的解釋PLA的學習演算法,右圖的兩個向量就說明了,
    每次碰到錯誤的分類點,更新w使用的公式(w+yi*xi)的原因.具體看這篇博文:
    http://www.cnblogs.com/HappyAngel/p/3456762.html

2.代數方法

我也是看了上面的博文才提出的問題.這裡的代數方法就是正向思維來解釋作者的問題
博文中提到:
"那麼為什麼要這樣校正?因為這樣可以保證Wt越來越靠近perfect直線Wf(ps.暫時沒想到正向思維是如何得到這個式子的)"

核心思想2上面的核心思想1已經說明了PLA的損失函式.

L(w,b
)=xiMyi(wxi+b)

他是所有誤分類點到分割超平面的函式距離之和,而且,這個損失函式還是一個連續可導函式,因此,最小化這個損失函式可以通過每次選取一個誤分類點,使損失函式梯度下降,最終達到最小,這樣也就是yi(wxi+b)求梯度(這裡的b即上面連結博文中的w0),而這裡的梯度值正是yixi,因此wt的校正公式為:wt+1=wt+yixi
這裡的核心思想參考李航博士的<<統計學習方法>>第二章的內容!