【機器學習】最小二乘法支援向量機LSSVM的數學原理與Python實現

• 一、LSSVM數學原理
• 1. 感知機
• 2. SVM
• 3. LSSVM
• 4. LSSVM與SVM的區別
• 二、LSSVM的python實現
• 參考資料

一、LSSVM數學原理

1. 感知機

SVM是從感知機發展而來。假設有m個訓練樣本 ${\{}_{}^{}$

2. SVM

• 函式間隔：
  對於訓練集中的一個樣本 $\left( {{x_i},{y_i}} \right)$,其函式間隔為 ${ r_i} = {y_i}(W \cdot {x_i} + b)$。
  訓練集的函式間隔等於所有樣本點的函式間隔的最小值： $r = \mathop {\min }\limits_{i = 1, \cdots m} {r_i}$
  函式間隔只能表示分類預測的正確性，不能表示樣本到分隔超平面的準確距離。

• 幾何距離
  對於訓練集中的一個樣本 $\left( {{x_i},{y_i}} \right)$,其函式間隔為 ${R_i} = {y_i} \cdot \frac{1}{{\left\| W \right\|}}\left( {W \cdot {x_i} + b} \right)$。
  訓練集的函式間隔等於所有樣本點的函式間隔的最小值： $R = \mathop {\min }\limits_{i = 1, \cdots m} {R_i}$
  幾何間隔不但可以表示分類預測的正確性還能準確地表示樣本到分隔超平面的距離。

SVM的優化問題轉化為最大化訓練樣本的幾何距離：

$\begin{array}{l}\mathop {\max }\limits_{W,b} \frac{r}{{\left\| W \right\|}}\\s.t.{y_i}\left( {W \cdot {x_i} + b} \right) \ge r,i = 1,2, \cdots m\end{array}$

函式間隔的取值不會影響最優問題的解，將訓練樣本的函式間隔取值為1，上述問題轉化為

$\begin{array}{l} \mathop {\min }\limits_{W,b} \frac{1}{2}{\left\| W \right\|^2}\\s.t.{y_i}\left( {W \cdot {x_i} + b} \right) \ge 1,i = 1,2, \cdots m\end{array}$

由此可知SVM的優化問題是一個帶有分等式約束的QP(Quadratic Programming)問題，其具體求解過程比較複雜，可參考【1，2】。

3. LSSVM

LSSVM將SVM優化問題的非等式約束用等式約束替換。具體形式如下：

$\begin{array}{l} \mathop {\min }\limits_{W,b} \frac{1}{2}{\left\| W \right\|^2}\\ s.t.{y_i}\left( {W \cdot {x_i} + b} \right) = 1,i = 1,2, \cdots m \end{array}$

為了解決存在部分特異點的情況，給每一個樣本引入誤差變數 ${e_i}$，並在原始函式中加入誤差變數的L2正則項。這樣LSSVM的優化問題就轉化為