SMO演算法主要是為優化SVM（支援向量機）的求解而產生的，SVM的公式基本上都可以推到如下這步：

$ma{x}_{\alpha }{\sum }_i^{}$

= 1 m α i − 1 2

∑ i = 1 m ∑ j

= 1 m α i α j y i y j x i T x j max_{\alpha}\sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}^{T}x_{j}

$s.t. \sum_{i}^{m}\alpha_{i}y_{i}=0$

$0≤\alpha_{i}≤C，i = 1, 2, 3,...,m$

其中，C是SVM中懲罰引數（或正則化常數），可令：

$\varphi(\alpha)=\sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}^{T}x_{j}$

SMO的具體步驟：

第一步：為了滿足 $\sum_{i}^{m}\alpha_{i}y_{i}=0$公式，首先要固定兩個變數 $\alpha_{i}和\alpha_{j}$，這裡以 $\alpha_{1}和\alpha_{2}$為例，其餘的 $\alpha_{i}(i=3,4,...,m)都是已知量$，則約束條件變成：

$\alpha_{1}y_{1}+\alpha_{2}y_{2}=c=-\sum_{i=3}^{m}\alpha_{i}y_{i}，(0≤\alpha_{1}≤C，0≤\alpha_{2}≤C)$

兩邊同乘 $y_{1}$，並記 $y_{1}y_{2}=h_{0}$得：

$\alpha_{1}+h_{0}\alpha_{2}=-y_{1}\sum_{i=3}^{m}\alpha_{i}y_{i}=\alpha_{1_{new}}+h_{0}\alpha_{2_{new}}$

相關推薦