• • • 3.1 核技巧解決非線性SVM
      • 3.1.1 非線性SVM解決思路
      • 3.1.2 核技巧下SVM
    • 3.2 Mercer核
    • 3.3 常用的核函式
      • 3.3.1 二次多項式核
      • 3.3.2 高斯核

3.1 核技巧解決非線性SVM

3.1.1 非線性SVM解決思路

對於非線性分類問題，顯然無法用一個線性分離超平面來把不同的類別的資料點分開，那麼可以用以下思路解決這個問題：

• 首先使用一個變換 $z=\phi (x)$ 將非線性特徵空間x對映到新的線性特徵空間z

• 在新的z特徵空間裡使用線性SVM學習分類的方法從訓練資料中學習分類模型

基於這個想法，SVM模型可以表示成：

m

$\ \ \ \ \ \ \ \ \ \ \ \ $
$s.t. \ \ \ \ \sum^{N}_{i=1} \alpha_iy_i =0$

$\ \ \ \ \ \ \ \ \ \ \ \ \alpha_i \geq 0, i = 1,2,..., N \ \ \ \ \ \ \ \ \ (1)$

但是，這裡有一個問題: $\phi(x_i) \cdot \phi(x_j)$計算起來要分兩步，先對映x到z空間，然後在z空間（一般是較高維度）作高維度的內積 $z_i \cdot z_j$。

為了簡化這個運算過程，如果我們找到一個核函式 $K(x_i,x_j)$, 即K是關於x的函式，其運算在低維空間上進行，然後使得$K(x_i,x_j) = \phi(x_i) \cdot \phi(x_j)$，那麼只需要計算一個比較好計算的核函式 $K(x_i,x_j)$，就可以避免先對映，再在高維空間內積的複雜運算。

3.1.2 核技巧下SVM

基於核技巧，非線性SVM模型可以表示成：

$min_\alpha \ \ \ \ \frac{1}{2}\sum^{N}_{j=1} \alpha_i\alpha_jy_iy_jK(x_i,x_j) - \sum^{N}_{i=1}\alpha_i$

$\ \ \ \ \ \ \ \ \ \ \ \ $
$s.t. \ \ \ \ \sum^{N}_{i=1} \alpha_iy_i =0$

$\ \ \ \ \ \ \ \ \ \ \ \ \alpha_i \geq 0, i = 1,2,..., N \ \ \ \ \ \ \ \ \ (2)$

其中，