1 演算法思想

支援向量機(support vector machines) 是找到一個超平面(hyperplane)將資料劃分為一類與其他類的一種二類分類模型，分離間隔最大而區別於感知機。

適用於：

1. 資料可直接分為兩類(採用error-correcting output codes 方法區分多類)；
2. 高維不能線性可分的資料；
3. 簡單分類。

支援向量機類別：

• 線性可分支援向量機（linear support vector machine in linearly separable case）——硬間隔最大化（hard margin maximization）
• 線性支援向量機（linear support vector machine）——軟間隔最大化（soft margin maximization）
• 非線性支援向量機（non-linear support vector machine）——核技巧（kernel trick）

2 演算法步驟

2.1 線性可分支援向量機

由線性分類器可知：一個線性分類器的學習目標便是要在n維的資料空間中找到一個超平面（hyper plane），這個超平面的方程可以表示為： $w^Tx+b=0$

分離超平面：$w^*\cdot x+b^*=0$

分類決策函式： $f\left(x\right)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })=\>\{\begin{array}{cc}{H}_1:w_0+w_1{x}_1+w_2{x}_2\ge 1& \text{for }{y}_i=+1,\\ H_2:w_0+w_1{x}_1+w_2{x}_2\le 1& \text{for }{y}_{}\end{array}$

i=−1.=>yi(w0+w1x1+w2x2)≥1 f(x)=\mathrm{sign}(w^*\cdot x+b^*) => \left\{ \begin{array}{rl} H_1: w_0+w_1x_1+w_2x_2 \geq 1 & \text{for } y_i=+1,\\ H_2: w_0+w_1x_1+w_2x_2 \leq 1 & \text{for } y_i=-1.\\ \end{array} \right.\\ \qquad =>y_i(w_0+w_1x_1+w_2x_2) \geq 1

函式間隔（functional margin）：$\hat{\gamma}=\min \limits_{i=1,...,N} \hat{\gamma}_i$

對於樣本點$(x_i,y_i)$ ，$\hat{\gamma}_i=y_i(w \cdot x_i+b )$。

幾何間隔（geometric margin）：$\gamma=\min \limits_{i=1,...,N}\gamma_i=\frac{\hat{\gamma}}{\parallel w \parallel}$

對於樣本點$(x_i,y_i)$ ，$\gamma_i=y_i(\frac{w}{\parallel w \parallel} \cdot x_i+ \frac{b}{\parallel w \parallel})=\frac{\hat{\gamma}_i}{\parallel w \parallel}$

支援向量：

欲找到具有最大間隔的劃分超平面，也就是是 $\gamma$ 最大，即： $\max \limits_{w,b} \ \ \frac{2}{\parallel w \parallel} \\ s.t. \ \ y_i(w^T \cdot x_i+b) \ge 1, \ i=1,2,...,m.$ 最大間隔分類器就是我們求取的分類超平面， 等於$\max(最大間隔)$， 而函式間隔假設為1，就可得到最大間隔超平面: $\max \frac{1}{\parallel w \parallel}$, 而約束條件是因為函式間隔是所有樣本點的間隔函式中最小值。

2.2 SVM的二次凸函式和約束條件

支援向量機的學習策略是間隔最大化，可形式化為一個求解凸二次規劃（convex quadratic programming）.

僅需最大化$\parallel w \parallel^{-1}$，這等價於最小化$\parallel w \parallel^{2}$。於是，上式可重寫為： $\min \limits_{w,b} \ \ \frac{1}{2}\parallel w \parallel^2 \qquad s.t. \ \ y_i(w^T \cdot x_i+b) \ge 1, \ i=1,2,...,m. \tag{1}$ 這是支援向量機的基本型，其本身為一個凸二次規劃問題。

使用拉格朗日乘子法可得到其“對偶問題”（dual problem），其拉格朗日函式可寫為： $L(\omega ,b, \alpha )=\frac{1}{2}\left \| \omega \right \|^2+\sum \limits_{i=1}^m \alpha _i(1-y_i(\omega ^T x_i+b)) \tag{2}$ 其中$\alpha_i$是拉格朗日乘子。

利用對偶性的結論， 對$L(\omega,b,\alpha)$關於$\omega$和$b$求偏導數： $\frac{\partial L}{\partial \omega}=0 \Rightarrow \omega = \sum \limits_{i=1}^n \alpha _i x_i y_i \\ \frac{\partial L}{\partial b}=0 \Rightarrow \sum \limits_{i=1}^n \alpha _i y_i = 0 \tag{3}$ 將上式帶入式(2)中，可得式(1)的對偶問題：