機器學習- 感知器

• 二分類線性模型
• 損失函式
• 梯度下降更新引數
• 線性分類器的理解

• 二分類線性模型

  $f\left(x\right)=$

  s i g n ( w ⋅ x +
  b ) ， s i g n ( x
  ) = { + 1 ， x ≥ 0 − 1 ， x > 0 f(x) = sign(w·x+b)，sign(x) = \begin{cases} +1，x\geq0\\ -1，x>0\\ \end{cases}

  $\bullet$ 當滿足： $y_i = +1，w·x_i+b\ge0，且 y_i=-1，w·x+b<0 時$，稱該資料集線性可分。

  當資料集線性可分時，感知器可以收斂；當資料集線性不可分時，感知器不收斂，發生震盪。

• 損失函式

  損失函式被構建為，所有誤分類點到超平面的總距離。

  （點到線距離公式： $d = \frac{| w·x+b |}{\sqrt{||w||_2}}$）

  即， $L(w,b)=-\frac{1}{||w||_2}\sum_{x_i∈X}y_i(w·x_i+b)$，

  若不考慮 $-\frac{1}{||w||_2}$ ，則得到 $L(w,b)=\sum_{x_i∈X}y_i(w·x_i+b)$

• 梯度下降更新引數

  $w:=w+η·y_ix_i$

  $b:=b+η·y_i$

  若 $y_i(w·x_i+b)\ge0$ 意味著 $y_i 與 w·x_i+b$ 同號，分類正確；
  若 $y_i(w·x_i+b)<0$ 意味著 $y_i 與 w·x_i+b$ 異號，分類錯誤；

  應當在 $y_i(w·x_i+b)<0$ 時進行修正，即 $x_i$ 位於超平面錯誤一側時調整 $w,b$ ，使超平面向誤分類點一側移動。

• 線性分類器的理解

  1. 空間劃分角度

     將每個樣本中提取出的特徵視為空間中的點座標，則 $w·x+b$ 是一個超平面，可以將不同類別的樣本劃分開。

     當一個超平面無法區分樣本，達到最好劃分效果時，可以使用多個超平面進行劃分，每一個 $w·x+b$ 都對應一個超平面。

  2. 模板匹配角度

     將 $w,b$ 視為模板， $x_i$ 代入計算後得出的值視為匹配度。