支援向量機

• 優化目標
• 大間距分類器
• 數學原理
• 核函式一
• 核函式二
• 使用

優化目標

• 對於邏輯迴歸的假設函式而言，在y=1的情況下，我們希望假設函式約等於1，且z遠大於0；在y=0的情況下，我們希望假設函式約等於0，且z遠小於0。

• 對於支援向量機，則希望在y=1的情況下，z大於等於0,；在y=0的情況下，z取其他值(小於0)

• 對於邏輯迴歸的代價函式，其中的 $lo$

  g h θ ( x ) logh_\theta(x)
  替代為 $cos{t}_1(z$
  ) cost_1(z) ，這兩個函式的圖如下：
  
  其中的 $log(1-h_\theta(x))$替代為 $cost_0(z)$，這兩個函式的圖如下：
  

也就是說，在y=1的情況下，目標函式需要z大於等於1；在y=0的情況下，目標函式需要z小於等於-1。

• 對於支援向量機的代價函式而言，如上所述替代後，再去掉m項，將 $\lambda$用C代替( $C=\frac{1}{\lambda}$)，如下所示：
  

大間距分類器

如上所述，在y=1的情況下，目標函式需要z大於等於1；在y=0的情況下，目標函式需要z小於等於-1。

也就是說，對於決策邊界(z=0)而言，與訓練樣本的距離儘量保持在1以上，因此會糾正過擬合的問題，取分類兩組資料的中間，與雙方保持一定距離的線為邊界，如下方的margin(圓圈和紅叉表示兩種型別的樣本)：

但是如果C取值過大，也即 $\lambda$的值過小，即便採用上述演算法還是會容易過擬合，如下：

數學原理

目標函式中，有該項 $min_\theta\frac{1}{2}\sum_{j=1}^n\theta_j^2$，也即等同於求向量 $\theta$的長度平方的二分之一： $\frac{1}{2}|\theta|^2$。

因此，在決定決策邊界時，如果如下圖所示( $\theta^Tx^{(i)}$，相當於兩個向量的內積)：

由於上圖所示，樣本 $x^{(i)}$投影到向量 $\theta$(注意的是，向量 $\theta$與決策邊界垂直，因為與決策邊界的內積z為0)上的值p較小，而為了與p值相乘大於等於1或小於等於-1，就會導致 $|\theta|$的值較大，不符合目標函式的預期。

如果如下圖所示：

那麼，樣本投影到向量 $\theta$上得到的值p較大，同理，可知，能使 $|\theta|$的值較小，符合目標函式的預期。

核函式一

對於非線性邊界如下圖所示的，在邏輯迴歸中通常採用多項式構造特徵： $x_1、x_1^2、x_1x_2、......$

而如果採用支援向量機這一演算法，那就要將 $x_i$替代為 $f_i$。
$f_i$的定義如下：
$f_i=exp(-\frac{|x-l^{(i)}|^2}{2\sigma^2})=exp(-\frac{\sum_{j=1}^n(x_j-l^{(i)}_j)^2}{2\sigma^2})$
其中的 $x$為輸入特徵， $l^{(i)}$為下圖中的點(可表示為長度為特徵數目n的向量)：

$f_i$的性質有：如果 $x=l^{(i)}$，則 $f_i=1$；如果如果 $x$與 $l^{(i)}$相差過大，則 $f_i\approx0$。

$f_i$中的 $\sigma$過小時，容易低偏差，高方差，過大時容易高偏差，低方差，當 $f_i={3\brack 5}$時， $f_i$的影象如下：

當 $\theta_0+\theta_1f_1+\theta_2f_2+\theta_3f_3\ge0$

相關推薦