支援向量機（SVM），基本模型是定義在特徵空間上的間隔最大的線性分類器，使用核技巧可以使它成為實質上的非線性分類器。“使間隔最大”形成一個凸二次規劃問題。由簡至繁可分為：線性可分（硬間隔）支援向量機，（軟間隔）線性支援向量機，非線性支援向量機。

線性可分支援向量機

資料線性可分的時候，感知機可以求得分離超平面，但有無數多個解，而支援向量機通過間隔最大化求得的最優分離超平面，解是唯一的。

• 線性可分支援向量機
  給定線性可分訓練資料集，通過間隔最大化或等價地求解相應的凸二次規劃問題學習得到的分離超平面為\[w^* \cdot x + b^* = 0\]以及相應的分類決策函式\[f(x) = sign(w^* \dot x + b)\]
  稱為線性可分支援向量機。

超平面\((w, b)\)關於樣本點\((x_i, y_i)\)的幾何間隔：\[\gamma = y_i (\frac{w}{||w||} \cdot x_i + \frac{b}{||w||} ),\]求最大間隔分離超平面可以表示成下面的約束最優化問題：
\[\max_{w, b} \: \gamma\]\[s.t. \: y_i (\frac{w}{||w||} \cdot x_i + \frac{b}{||w||} ) \geq \gamma\]
進行簡單的推導，得到下面的線性可分支援向量機學習演算法——最大間隔法，

線性可分支援向量機學習演算法——最大間隔法

• 輸入：線性可分資料集\(T=\{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\}\)，其中\(x_i \in \mathcal{X}=R^n\)，\(y_i \in \mathcal{Y} = \{-1, +1\}\)，\(i = 1,2,...,N\)
• 輸出：最大間隔分離超平面和分類決策函式.

1. 構造並求解約束最優化問題：\[\min_{w, b} \: \frac{1}{2}||w||^2\]\[s.t. \: y_i (w \cdot x_i + b) - 1 \geq 0, i = 1, 2, ..., N\]
2. 由此得到分離超平面：\[w^* \cdot x + b^* = 0\]
   分類決策函式\[f(x) = sign(w^* \cdot x + b^*)\]

距離分離超平面最近的例項稱為支援向量，在決定分離超平面時只有支援向量起作用，其他例項點不起作用。

可以應用拉格朗日對偶性，通過求解對偶問題得到原始問題的解，簡單來說，就是把最優化問題中的約束條件作為目標函式的一部分，形成新的最優化問題，這個新的最優化問題如果想要和原問題一致的話，需要滿足KKT條件。經過推導，可以得到線性可分支援向量機原始問題的對偶問題，相應的對偶學習演算法為，

• 線性可分支援向量機學習演算法（對偶）

1. 構造並求解約束最優化問題\[\min_{\alpha} \:\: \frac{1}{2} \sum_{i=1}^{N}\sum_{j=1}^{N} \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i = 1}^{N}\alpha_i\]\[s,t.\:\: \sum_{i=1}^{N} \alpha_i y_i = 0\] \[\alpha_i \geq 0, i = 1, 2, ..., N \]求得最優解\[ \alpha^* = ( \alpha_1^*, \alpha_2^*,..., \alpha_N^*)^T\]
2. 計算 \[w^* = \sum_{i=1}^{N} \alpha_i^* y_i x_i\]並選擇\(\alpha\)的一個正分量，計算\[b^* = y_j - \sum_{i=1}^N \alpha_i^*y_i(x_i \cdot x_j)\]
3. 求得分離超平面：\[w^* \cdot x + b^* = 0\]分類決策函式\[f(x) = sign(w^* \cdot x + b^*)\]

資料集中對應於\(\alpha_i > 0\)的例項為支援向量，在間隔邊界上。

線性支援向量機與軟間隔最大化

對於線性不可分的資料，可以引入一個鬆弛變數\(\xi_i \geq 0\)，對約束條件放寬一點，同時在目標函式中給予相應的懲罰，這樣，就得到了線性不可分的線性支援向量機的原始問題：

• 線性不可分支援向量機原始問題
  \[\min_{w, b, \xi} \: \: \frac{1}{2} ||w||^2 + C\sum_{i=1}^N \xi_i\]\[s.t. \: \: y_i(w \cdot + b) \geq 1 - \xi_i, i=1,2, ..., N\]\[\xi_i \geq 0, i = 1,2,...,N\]

與線性可分支援向量機一樣，可以得到線性支援向量機相應的對偶問題，

• 線性支援向量機學習演算法（對偶）

1. 選擇懲罰引數\(C > 0\)，構造並求解凸二次規劃問題\[\min_{\alpha} \:\: \frac{1}{2} \sum_{i=1}^{N}\sum_{j=1}^{N} \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i = 1}^{N}\alpha_i\]\[s,t.\:\: \sum_{i=1}^{N} \alpha_i y_i = 0\] \[0 \leq \alpha_i \leq C, i = 1, 2, ..., N \]求得最優解\[ \alpha^* = ( \alpha_1^*, \alpha_2^*,..., \alpha_N^*)^T\]
2. 計算 \[w^* = \sum_{i=1}^{N} \alpha_i^* y_i x_i\]並選擇\(\alpha\)的一個大於0小於\(C\)的分量，計算\[b^* = y_j - \sum_{i=1}^N \alpha_i^*y_i(x_i \cdot x_j)\]
3. 求得分離超平面：\[w^* \cdot x + b^* = 0\]分類決策函式\[f(x) = sign(w^* \cdot x + b^*)\]

這時的線性支援向量機原始最優化問題等價於合頁損失函式最小化問題\[\min_{w,b} \:\: \sum_{i=1}^N [1 - y_i(w \cdot x_i + b)]_+ + \lambda ||w||^2\]，合頁損失函式長得像合頁，是0-1損失函式的上界。

非線性支援向量機與核函式

在處理非線性問題的時候，可以把原空間對映到新的空間，這是的資料可能就線性可分了，這是就能在新空間中學習分類模型。

• 核函式的定義

  設\(\mathcal{X}\)是輸入空間（歐氏空間的子集或離散集合），\(\mathcal{H}\)為特徵空間（希爾伯特空間），如果存在一個從\(\mathcal{X}\)到\(\mathcal{H}\)的對映\[\phi(x): \mathcal{X} \rightarrow \mathcal{H}\]使得對所有的\(x, z \in \mathcal{X}\)，函式\(K(x, z) = \phi(x) \cdot \phi(z)\)

核技巧的想法是，在學習與預測中只定義核函式\(K(x,z)\)，而不顯式地定義對映函式\(\phi\)，用一些合適的\(K(x,z)\)，計算起來容易。在支援向量機的對偶問題中，目標函式與決策函式都只涉及例項與例項之間的內積，可以用核函式\(K(x_i, x_j) = \phi(x_i) \cdot \phi(x_j)\)來代替。

• 常用的核函式
  • 多項式核函式
    \[K(x, z) = (x \cdot z + 1)^p\]對應的支援向量機是一個p次多項式分類器，分類決策函式為\[f(x) = sign(\sum_{i=1}^{N_s} a_i^* y_i (x_i \cdot x + 1)^p + b^*)\]
  • 高斯核函式
    \[K(x, z) = \exp(-\frac{||x-z||^2}{2\sigma^2})\]對應的支援向量機是高斯徑向基函式分類器，分類決策函式為\[f(x) = sign((\sum_{i=1}^{N_s} a_i^* y_i \exp(-\frac{||x-z||^2}{2\sigma^2}) + b^*)\]
  • 字串核函式
    離散的字串集合中的核函式，在文字分類、資訊檢索中可以應用。

• 非線性支援向量機學習演算法

1. 選擇適當的核函式\(K(x, z)\)和適當的引數\(C\)，構造並求解最優化問題\[\min_{\alpha} \:\: \frac{1}{2} \sum_{i=1}^{N}\sum_{j=1}^{N} \alpha_i \alpha_j y_i y_j K(x_i, x_j) - \sum_{i = 1}^{N}\alpha_i\]\[s,t.\:\: \sum_{i=1}^{N} \alpha_i y_i = 0\] \[0 \leq \alpha_i \leq C, i = 1, 2, ..., N \]求得最優解\[ \alpha^* = ( \alpha_1^*, \alpha_2^*,..., \alpha_N^*)^T\]
2. 選擇\(\alpha\)的一個大於0小於\(C\)的分量，計算\[b^* = y_j - \sum_{i=1}^N \alpha_i^*y_iK(x_i \cdot x_j)\]
3. 構造決策函式：\[f(x) = sign(\sum_{i=1}^N \alpha_i^* y_i K(x \cdot x_i) + b^*)\]

• 序列最小最優化演算法（SMO）
  求解支援向量機中的凸二次規劃問題，資料量很大時，需要這些快速實現演算法。SMO演算法不斷地將原二次規劃問題分解為只有兩個變數的二次規劃子問題，並對子問題進行解析求解，直到所有變數滿足KKT條件為止。這種通過啟發式的方法得到最優解，因為子問題有解析，所以很有效。