$\ \ \ \ \ \ \ \ \ \ \ \ $
$s.t. \ \ \ y_i{(w \cdot x_i + b )}{} \geq {1}; \ \ \ \ (i = 1, ... , N) \ \ \ \ \ \ \ \ \ $

但是，在實際應用中，我們資料集因為存在一些資料點使得資料集不是完全線性可分的。因此，引入了軟間隔的SVM支援向量機。

$min_{ \ w,b,e} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N} \xi_i$

$\ \ \ \ \ \ \ \ \ \ \ \ $
$s.t. \ \ \ y_i{(w \cdot x_i + b )}{} \geq {1-\xi_i};$

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \xi_i \geq 0; (i = 1, ... , N) \ \ \ \ \ \ \ \ \ \ \ \ \ (1)$

• 首先

在硬間隔的SVM中，我們加的約束是$\ \ \ y_i{(w \cdot x_i + b )}{} \geq {1}$，其中 1 表示的是margin的位置.

現在$\ \ \ y_i{(w \cdot x_i + b )}{} \geq {1-\xi_i}$ 表示現在的函式距離現在只需要大於等於 $1 - \xi_i$ 就可以了。其中$\xi_i$ 表示 $i$ 樣本偏離margin的距離。對於沒有violation的樣本，$\xi_i = 0$，我們把 $\xi_i$ 稱為 鬆弛變數 。

用下圖來解釋比較清楚：

圖中有一個violate的點，它到 1 （也就是margin）的距離可以記為 $\xi_i$，這個距離可以代表violate margin的程度。軟間隔SVM為了容忍這個點，只需把約束條件中改為 $1 - \xi_i$，而不是限制在 1 處。

• 然後

$\xi_i$代表violate margin的程度，我們希望$\xi_i$越小越好，因此在目標函式中，我們希望最小化$\sum_{i=1}^{N} \xi_i$

• 最後
  
  • 引數 C 代表了追求最大 margin 和 margin violation的一個tradeoff。
  • 當 C 設定比較大時，代表我追求違反margin的情形越少越好，邊界瘦一點沒關係（