支援向量機—SMO論文詳解（序列最小最優化演算法）

SVM的學習演算法可以歸結為凸二次規劃問題。這樣的凸二次規劃問題具有全域性最優解，並且許多最優化演算法可以用來求解，但是當訓練樣本容量很大時，這些演算法往往變得非常低效，以致無法使用。論文《Sequential Minimal Optimization：A Fast Algorithm for Training Support Vector Machines》提出的SMO是針對SVM問題的Lagrange對偶問題開發的高效演算法。論文對很多計算細節予以忽略，而網上很多文章的解讀要麼不詳細，要麼使用了另外一套符號體系，不方便理解。本文將使用原論文的符號體系進行詳細解讀。

1. 問題概述

這裡寫圖片描述
支援向量機（SVM）的一大特點是最大化間距（max margin）。對於如上圖的二分類問題，雖然有很多線可以將左右兩部分分開，但是隻有中間的紅線效果是最好的，因為它的可活動範圍是最大的，從直觀上來說，很好理解。
對於線性二分類問題，假設分類面為

u=w⃗ ⋅x⃗ +b(1) $u=\vec{w }\cdot \vec{x} + b \tag{1}$
則margin為

m=1∥w∥2(2) $m=\frac{1}{\left \| w \right \|}_2 \tag{2}$

根據max margin規則和約束條件，得到如下優化問題，我們要求的就是引數

w⃗ $\vec{w}$ 和

b $b$ :

minw⃗ ,b12∥∥w⃗ ∥∥2subjecttoyi(w⃗ ⋅x⃗ i−b)≥1,∀i,(3) $\min \limits_{\vec{w},b}\frac{1}{2} \left \| \vec{w} \right \|^{2} subject \, to \, y_i( \vec{w}\cdot \vec{x}_i-b)\geq 1,\forall i,\tag{3}$

對於正樣本，類標號

yi $y_i$ 為+1，反之則為-1。根據拉格朗日對偶，公式（3）可以轉換為如下的二次規劃（QP）問題，其中

αi $\alpha_i$ 為拉格朗日乘子。

minα⃗ Ψ(α⃗ )=minα⃗ 12∑i=1N∑j=1Nyiyj(xi→,xj→)αiαj−∑i=1Nαi(4) $\min \limits_{\vec{\alpha}} \Psi (\vec{\alpha}) = \min \limits_{\vec{\alpha}}\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}y_i y_j (\vec{x_i},\vec{x_j})\alpha_i \alpha_j - \sum_{i=1}^{N}\alpha_i \tag{4}$
其中

N $N$ 為訓練樣本的數量，上式需要滿足不等式約束：

αi⩾0,∀i(5) $\alpha_i\geqslant 0,\forall_i \tag{5}$
還需要滿足等式約束：

∑i=1Nyiαi=0(6) $\sum_{i=1}^{N}y_i \alpha_i = 0 \tag{6}$
一旦求解出所有的拉格朗日乘子，則我們可以通過如下的公式得到分類面引數

w⃗ $\vec{w}$ 和

b $b$ 。

w⃗ =∑i=1Nyiαix⃗ i,b=w⃗ ⋅x⃗ k−ykforsomeαk>0.(7) $\vec{w} = \sum_{i=1}^{N}y_i\alpha_i\vec{x}_i, b = \vec{w}\cdot \vec{x}_k-y_k \, for\, some \, \alpha_k > 0.\tag{7}$
當然並不是所有的資料都可以完美的線性可分，可能有少量資料就是混在對方陣營，這時可以通過引入鬆弛變數

ξi $\xi_i$ 得到軟間隔形式的SVM：

minw⃗ ,b,ξ⃗ 12∥∥w⃗ ∥∥2+C∑i=1Nξisubjecttoyi(w⃗ ⋅x⃗ i−b)≥1−ξi,∀i,(8) $\min \limits_{\vec{w},b, \vec{\xi}}\frac{1}{2} \left \| \vec{w} \right \|^{2}+C\sum_{i=1}^{N}\xi_i\, subject \, to \, y_i( \vec{w}\cdot \vec{x}_i-b)\geq 1-\xi_i,\forall i,\tag{8}$
其中的

ξi $\xi_i$ 為鬆弛變數，能假裝把錯的樣本分對，

C $C$ 對max margin和max failures的trade off。對於這個新的優化問題，約束變成了一個box constraint：

0≤αi≤C,∀i(9) $0\leq \alpha_i\leq C,\forall i\tag{9}$
而鬆弛變數

ξi $\xi_i$ 不再出現在對偶公式中了。
對於線性不可分的資料，可以用和函式

K $K$ 將其投影到高維空間，這樣就可分了，由此得到一般的分類面公式：

u=∑j=1NyjαjK(xj→,x⃗ )−b(10) $u=\sum_{j=1}^{N}y_j \alpha_j K(\vec{x_j},\vec{x}) -b \tag{10}$
則最終需要求解的問題如下：

minα⃗ Ψ(α⃗ )=minα⃗ 12∑i=1N∑j=

支援向量機—SMO論文詳解（序列最小最優化演算法）

1. 問題概述

支援向量機—SMO論文詳解（序列最小最優化演算法）

支援向量機(SVM)原理詳解

支援向量機4—序列最小最優化演算法

最短路演算法詳解（Dijkstra/Floyd/SPFA/A*演算法）

實驗吧該題不簡單 OD詳解（flag 和分析內部演算法）

Sequential Minimal Optimization（SMO，序列最小優化演算法）初探

SVM中的訓練演算法：序列最小最優化演算法SMO的讀書筆記

支援向量機—SMO演算法原始碼分析（1）

支援向量機SMO演算法實現（原始碼逐條解釋）

R-CNN論文詳解（學習筆記）

Attention is all you need 論文詳解（轉）

詳解SVM系列（六）：深入解析序列最小最優化SMO演算法一

QAV250四軸穿越機安裝全程詳解（多圖）

支援向量機數學證明與推導（SVM）

支援向量機SVM----學習筆記三（程式碼實踐一高斯核函式）

SVM支援向量機-SKlearn實現與繪圖（8）

特徵選擇之支援向量機遞迴特徵消除（SVM-RFE）

linux下Nginx配置文件(nginx.conf)配置設置詳解（windows用phpstudy集成）

java類型轉換詳解（自動轉換和強制轉換）

Android熱修復技術原理詳解（最新最全版本）

支援向量機—SMO論文詳解（序列最小最優化演算法）

1. 問題概述

相關推薦