感知機（perceptron）學習——學習筆記

阿新 • • 發佈：2019-02-10

一、感知機
感知機是二分類線性分類模型，輸入為例項的特徵向量，輸出為+1，或者-1.由輸入到輸出函式為f(x) = sign(w*x+b),w為權值（weight），b叫做偏置（bias）。sign為符號函式。（w是超平面的法向量，b是超平面的截距）。

感知機是通過確定一個超平面來將樣本分成兩類，也就是說我們通過不斷調整w和b來確定這個超平面，直到找到這個超平面為止。簡單來說，把他想成二維空間，就是平面上有一些點，這些點一類是+1，一類是-1，我們的目的就是找到一條直線可以將這二類點分開，這條直線的函式解析式w*x+b。我們通過調整斜率w和截距b來調整直線，直到其可以分成二類的點。

我們這裡定義一個損失函式，就是衡量分類錯誤的多少的一個函式（我自己理解的）。那我們就是要使這個損失函式儘量小。

損失函式的自然選擇是誤分類點的總數，但是這樣的損失函式不是引數w，b的可導函式，不容易優化。

（ $x_{0}$ , $y_{0}$ ）到直線Ax+By+C = 0的距離為：

d = \frac{| A x + B y + C |}{\sqrt{A^{2} + B^{2}}}

所以我們來計算 $x_{0}$ 到平面S的距離:

\frac{1}{| | w | |} | w * x_{0} + b |

||w||是w的L2範數，

| | w | | = \sqrt{w^{2}}

而對於誤分類的資料（ $x_{i}, y_{i}$ ）來說， $y_{i} * (w * x_{i} + b) > 0$ ，所以誤分類點 $x_{i}$ 到S的距離為：

- \frac{1}{| | w | |} * y_{i} | w * x_{i} + b |

所以誤分類點到S的總距離為（誤分類的距離為M）：

- \frac{1}{| | w | |} \sum_{x_{i} \in M} y_{i} | w * x_{i} + b |

不考慮

\frac{1}{| | w | |}

，就是感知機學習的損失函式。
所以感知機sign（w*x+b）學習的損失函式為：

L (w, b) = - \frac{1}{| | w | |} \sum_{x_{i} \in M} y_{i} | w * x_{i} + b |

我們通過對這個損失函式進行梯度下降演算法，即:

m i n_{w, b} L (w, b) = - \frac{1}{| | w | |} \sum_{x_{i} \in M} y_{i} | w * x_{i} + b |

對這個損失函式分別對w和b求導，得到梯度，w的梯度為-

y_{i} x_{i}

,b的梯度

&l

感知機（perceptron）學習——學習筆記

感知機（perceptron）原理總結

深度學習筆記二：多層感知機（MLP）與神經網路結構

李航-機器學習-感知機（perceptron)-原始形式

機器學習-支援向量機（SVM）演算法學習筆記

深度學習基礎（二）—— 從多層感知機（MLP）到卷積神經網路（CNN）

Deep learning with Theano 官方中文教程（翻譯）（三）——多層感知機（MLP）

TensorFlow HOWTO 4.1 多層感知機（分類）

多層感知機（MLP）演算法原理及Spark MLlib呼叫例項（Scala/Java/Python）

MLlib--多層感知機（MLP）演算法原理及Spark MLlib呼叫例項（Scala/Java/Python）

多層感知機（MLP）

雙輸入感知器（Perceptron）的決策空間

Keras簡單實現多層感知機（MLP）程式碼

TensorFlow學習筆記（4）--實現多層感知機（MNIST資料集）

Pr_cc 學習筆記（三）放機（雞）錄（擼）機

機器學習筆記（五）：支援向量機（SVM）

（三）機器學習——感知機模型（附完整程式碼）