文章目錄

• 1. SVM簡介
• 2. SVM的一些概念
• 2.1 函式間隔與幾何間隔
• 2.2 支援向量
• 3. SVM模型目標函式與優化
• 3.1 SVM模型目標函式的推導(線性可分)
• 3.2 目標函式的優化
• 3.3 SVM軟間隔(線性不可分)
• 3.3 Soft Margin SVM(SVM的軟間隔) 最大化
• 3.4 SVM軟間隔最大化目標函式的優化
• 3.5 軟間隔最大化時的支援向量
• 3.6 最終超平面

1. SVM簡介

邏輯迴歸函式的不足：泛化能力不夠強。通過最小化損失函式找到一個決策邊界，通過決策邊界來進行分類。沒有考慮到位置資料的情況。

SVM演算法也是找到決策邊界， 但是SVM讓這條決策邊界離兩邊的資料儘可能的遠(即SVM要最大化margin)，這樣不僅對資料進行了一個很好的劃分，而且還考慮了未來的泛化能力。

SVM是一個二元分類演算法，線性分類和非線性分類都支援。經過演進，現在也可以支援多元分類，同時經過擴充套件，也能應用於迴歸問題。

2. SVM的一些概念

2.1 函式間隔與幾何間隔

超平面的函式表示式為 $w^{}$

T x + b = 0 w^Tx+b=0 時：
函式間隔： $d^{}$

′ = y ( w T x + b ) d^{'}=y(w^Tx+b)
幾何間隔： $d=\frac{y(w^Tx+b)}{||w||} =\frac{d^{'}}{||w||}$

幾何間隔才是點到超平面的真正距離，SVM模型裡用到的距離就是幾何距離。

2.2 支援向量

兩個類別的資料點都儘可能的遠實際上是這兩個類別離決策邊界最近的這些點離決策邊界也盡肯能的遠。其中，最近的這些點被稱為支援向量點。

支援向量到超平面的距離為 $\frac{1}{||w||}$兩個支援向量之間的距離為 $\frac{2}{||w||}$。

3. SVM模型目標函式與優化

3.1 SVM模型目標函式的推導(線性可分)

對於二維平面上的資料

最大化margin → 最大化d
在二維平面d怎麼求？(點到直線的距離公式)
$(x,y)$到 $Ax+By+C=0$的距離用以下公式表示
$d=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$
拓展到n維空間有： $\theta^Tx_b=0$→ $w^Tx+b=0$

• $\theta^T$裡有n+1個元素， $\theta_1,\cdots \theta_n$對應 $x_1,\cdots x_n$，還有一個 $\theta_0$為截距
• $x_b$裡有n+1個元素， $x_1,\cdots x_n$，其中， $x_0=1$
• $w^T$裡有n個元素， $w_1,\cdots w_n$對應 $x_1,\cdots x_n$
• b為截距

在n維空間 d怎麼求？
$d=\frac{|w^Tx+b|}{||w||}$
$||w|| = \sqrt{w_1^2+w_2^2 +\cdots + w_n^2}$

$\begin{cases} \frac{w^Tx^i+b }{||w||}\geqslant d & \forall y^i=1 \\ \frac{w^Tx^i+b}{||w||}\leqslant -d & \forall y^i=-1 \\ \end{cases} \implies \begin{cases} w_d^T x^i + b_d\geqslant 1 & \forall y^i=1 \\ w_d^T x^i+ b_d \leqslant -1 & \forall y^i=-1 \\ \end{cases}$

相關推薦