線性分類器之感知器模型（Perceptron）

前文提到，Fisher判別器的設計一般分兩步，一是確定最優的投影方向，二是在投影方向上確定閾權值。而感知器則是一種直接得到完整的線性判別函式g(x)=ωTx+ω0的方法。所以從某種意義上講，感知器模型是Fisher判別的一種改進。瞭解神經網路的人也都知道，感知器是神經網路的基礎。

首先將線性判別函式齊次化：
設y=[1,x]T,α=[ω0,ω]T，則

g(x)=ωTx+ω0=αTy
對於兩類的情況，設 Γ={y1,y2,...,yd} 為增廣樣本向量，那麼決策規則則為：
如果g(y)>0，則y∈ω1；如果g(y)<0，則y∈ω2

接下來明確幾個概念：
線性可分性：存在一個 α，使所有樣本能夠被正確分類。即存在一個超平面能正確地將兩個樣本分開。
解向量 α

∗：對於i=1,2,...,N，若yi∈ω1，則αTyi>0；若yi∈ω2，則αTyi<0。能夠滿足上述條件的α即為解向量α∗。
解區：權值空間中所有解向量組成的區域即為解區。（通常對於一個問題，解向量不唯一，故可將所有的解向量組成一個解區）

這裡寫圖片描述

圖片來源：清華大學張學工老師的課件

餘量：解區中的權向量都是解，但是越靠近解區中間的向量，所得到的分類面離各個樣本越遠，對將來的樣本的錯分的可能性就相對更小。

通過上述概念的引入，我們可以直觀地看到，對於線性可分的問題，會有無數個分類面能夠把樣本正確地分類，而這無數個分類面組成了解區，為了求得推廣能力更強的分類面，我們引入餘量，使得這個分類面儘可能離樣本距離遠些。

引入餘量 b>0，則要求解向量滿足 αTyi>b，i=1,2,...,N。若要求 b 取到最大值，那這個分類面顯然為最優分類面。

引入餘量後，解會更可靠，分類器的推廣性也就更強。

感知器函式及其求解：
首先我們對yi做一個處理，如果yi∈ω1，則y∗i=yi；如果yi∈ω1，則y∗i=−yi這樣，對於分類正確的樣本，就總有αTy∗i>0；對於分類錯誤的樣本，有αTy∗i<0。

因此可以定如下感知準則函式：

Jp(α)=Σy∗j∈γk(−αTy∗j)
其中，γk是被分錯的樣本的集合。
容易看出，當且僅當Jp(α∗)=minJp(α)=0 時，無錯分樣本，即α∗是解向量。

對於感知器準則函式的求解，我們採用梯度下降法

（在’數學知識’裡有梯度下降法對應的博文）。

α(t+1