$SVM$ 學習筆記第四篇

Soft-Margin Support Vector Machine

這篇介紹的是 $Soft-Margin SVM$ ，也就是再將 $S V M$ 做一些變化，或者是針對 $Hard-Margin SVM$ 做一些改進，放寬 $SVM$ 的限制，可以允許存在一些誤分類的點。

0 - 回顧

在上一篇中介紹了對偶形式的 $Kernel SVM$ ，在對偶 $SVM$ （從某個角度來說，對偶形式的 $S V M$ 得到了 $p r i m a l S V M$ 的內積形式）中利用核函式可以很方便的解決很複雜的非線性問題，例如使用高斯核函式可以在無限維度的空間中尋找超平面。但是正如我們之前說到過的，高斯 $S V M$

S V M

在引數選擇的不恰當的時候，也會出現

o v e r f i t

的情況。為什麼

S V M

也會出現過擬合的情況呢(雖然有最大間隔的保證)？一個原因可能是因為我們選擇的特徵轉化太過於

p o w e r f u l

，就算存在最大間隔的限制，最終也還是會出現過擬合。另外一個原因是因為我們堅持要把正例和負例完美的分開，導致會被一些噪聲點影響。

1 - 容忍一些噪聲

現在我們知道了 $h a r d S V M$ 可能由於要求完全正確的劃分正例和負例而被一些噪聲點影響導致過擬合，那麼回想一下，以前我們是怎麼處理這些噪聲資料的呢？

1.1 - pocket演算法

在 $p o c k e t$

t演算法中，由於資料不是線性可分的，所以我們真的沒有辦法找到一條線將資料完美的分開，所以我們退而求其次：找一條線，這條線在資料上犯的錯誤最少。即我們想要最小化如下的式子：

\underset{w, b}{m i n} \sum_{n = 1}^{N} | [y_{n} \neq s i g n (w^{T} x_{n} + b)] |

這裡： $1 = | [◯] |$ ，如果 $◯$ 成立； $0 = | [◯] |$ ，如果 $◯$ 不成立。

1.2 - 硬間隔支撐向量機

而我們之前提到的 $h a r d m a r g i n S V M$ 如下：

\begin{aligned} (1) & \underset{w}{m i n} & \frac{1}{2} w^{T} w \\ (2) & s . t . & y_{n} (w^{T} x_{n} + b) \geq 1 \\ (3) & f o r a l l n \end{aligned}

即要求所有的樣本點都要正確劃分，並且在這個基礎上找到間隔最大的。

1.3 - pocket + hard margin SVM

結合 $p o c k e t$ 演算法對錯誤的容忍和 $S V M$ 演算法對於間隔最大化的要求得到如下的模型（ $s o f t m a r g i n S V M$ ）：約束中的第二個條件表明允許存在一些點不滿足原來的 $S V M$ 的要求，即 $y_{n} (w^{T} x_{n} + b)$ 可以小於 $1$ ；但是要儘量減少這樣的點，這一目標體現在我們的 $o b j e c t f u n c t i o n$ 中： $\underset{w}{m i n} \dots + C \sum_{n = 1}^{N} | [y_{n} \neq s i g n (w^{T} z_{n} + b)] |$

SVM學習筆記-軟間隔SVM

Soft-Margin Support Vector Machine

0 - 回顧

1 - 容忍一些噪聲

1.1 - pocket演算法

1.2 - 硬間隔支撐向量機

1.3 - pocket + hard margin SVM

SVM學習筆記-軟間隔SVM

SVM學習筆記-線性支撐向量機

SVM學習筆記(一)

opencv3計算機視覺學習筆記-詞袋+svm

SVM中的軟間隔最大化與硬間隔最大化

[機器學習]機器學習筆記整理08- SVM演算法原理及實現

SVM學習筆記1

【svm學習筆記】svm_理論基礎4

支援向量機SVM----學習筆記三（程式碼實踐一高斯核函式）

【svm學習筆記】svm_理論基礎2

支撐向量機 SVM 學習筆記（Matlab程式碼）

【svm學習筆記】svm_理論學習圖譜_上

【svm學習筆記】svm_理論學習圖譜_下

SVM學習筆記——SVM解決多分類問題的方法

Python機器學習筆記——One Class SVM

支援向量機 (二)：軟間隔 svm 與核函式

軟件工程學習筆記——軟件工程基本原理

Linux學習筆記軟連結和硬連結

《機器學習_07_02_svm_軟間隔支援向量機》

斯坦福CS229機器學習筆記-Lecture8- SVM支援向量機之核方法 + 軟間隔 + SMO 演算法