SVM 支援向量機

• By Scarb
• 資料探勘課程的期末作業。學期末的時候太忙了，所以沒有寫部落格發上來。隔了這麼久終於想起來這個於是發一下。

1. 什麼是支援向量機(SVM)

1.1 一個故事

在介紹SVM是什麼之前，先來看一個故事……
我在網路上看到這個故事，通過它很快地理解了SVM的作用。
好吧，故事是這樣子的：
在很久以前的情人節，大俠要去救他的愛人，但魔鬼和他玩了一個遊戲。
魔鬼在桌子上似乎有規律放了兩種顏色的球，說：“你用一根棍分開它們？要求：儘量在放更多球之後，仍然適用。”

於是大俠這樣放了。

SVM就是試圖把棍放在最佳位置，好讓在棍的兩邊有儘可能大的間隙。
魔鬼看到大俠已經解決了一個難題，於是魔鬼給了大俠一個新的挑戰；這也是SVM中另一個更加重要的難題：

現在，大俠沒有棍可以很好幫他分開兩種球了，現在怎麼辦呢？當然像所有武俠片中一樣大俠桌子一拍，球飛到空中。然後，憑藉大俠的輕功，大俠抓起一張紙，插到了兩種球的中間。

現在，從魔鬼的角度看這些球，這些球看起來像是被一條曲線分開了。

再之後，無聊的大人們，把這些球叫做 「資料」，把棍子 叫做 「分類器」, 找到最大間隙的方法叫做「最優化」， 拍桌子叫做「核方法」, 那張紙叫做「超平面」。

1.2 SVM 是什麼

看了上面這個故事，基本能理解SVM大致是做什麼的。它的本質是一個線性分類器。
支援向量機是用來解決分類問題的，它找到一條線將兩個特徵劃分開來，新的資料線上的哪邊就可以直接把資料劃分進這一類中。所以它是一種對現形和非線性資料進行分類的方法。
簡單地說，SVM是一種演算法，它使用一種非線性對映，把原訓練資料對映到較高的維上（就是大俠用輕功把球打飛起來）。在新的維上，它搜搜最佳分離超平面（即插入一張紙）。使用到足夠高維上的、合適的非線性對映，兩個類的資料總可以被超平面分開。

2. SVM 的原理

2.1 資料線性可分的情況

2.1.1 超平面以及點到平面的距離

線性分類器用一個超平面 wx + b = 0 將空間劃分為兩個部分，wx + b > 0 和 wx + b < 0，w的方向和超平面方向垂直。

那麼如何求空間上一點到這個超平面的距離呢？經過數學推導可以得到下面的結論

這個距離就等於g(x)的絕對值比w的模。所以原點到超平面的距離是b的絕對值比w的模。
這個結論在後面將會用到。

2.1.2 margin、Support Vecotrs 間隔和支援向量

超平面向上或者向下平移，直到遇到某一個點時停下。能夠向上和向下平移距離的和就是margin（間隔）。而SVM就是要讓這個超平面的margin最大。
Support Vecotrs（支援向量），就是超平面平移時最先遇到的點。這個名字比較形象，支援向量就好像它託著這個面一樣。來看一張圖：

在SVM中有一些新的定義：把分介面定為wx + b = 0，分介面的上邊緣定為 wx + b = 1，分介面的下邊緣定為 wx + b = -1。超過上邊界的資料點記為1，超過下邊界的資料點記為-1。
所以可以把SVM的問題轉換成求最大margin的問題。那麼margin如何得到？通過剛才得出的求某一點到分介面的公式可以得到計算margin的公式，如下圖所示：

2.1.3 求解最大邊緣超平面

接下來就是研究如何把margin最大化。在這之前有一個前提條件就是把資料分類分對。

經過數學計算得出：

2.2 資料線性不可分的情況

在某些情況中，兩種資料混合呈現線性不可分的狀態，不可能找到一條將這些類分開的直線，上面研究的線性SVM不可能找到可行解，這時怎麼辦？
SVM的解決方法是把資料對映到更高維的空間，這個時候就仍然可以用一條線將這些資料分隔開了。

那麼到底應該如何去做對映呢？實際上我們不需要為每個問題設計特別的對映。它實際上使用幾種固定的對映方法，對映到一個高維的空間。
但是對映到高維的空間做計算味著計算量會相當大，這不是自討苦吃嗎？
實際上SVM最精妙的地方就在於此。
假設我們將資料對映到高維空間，然後做內積，就變成：

在高維空間做內積的計算量非常大，但是在這有一個驚奇的發現：

在這個公式中可以看到在高維空間中的做的操作就等價於在m維空間上的操作。
這就是SVM中的核函式K（Kernel）：這個函式在原始空間上計算出來的值就等於在高維空間上計算出來的值。核函式還有一些其他的型別。

最後仍然要求出w 和b，得到最大邊緣超平面：

其實最後的結果和線性可分情況下的公式差不多，區別就在於xi · x 變成了核函式。
SVM的功能十分強大，而它的表示式又十分簡潔，這極大地推動了SVM的應用。它能夠處理線性不可分的問題，核函式功不可沒。

3. SVM的優缺點

3.1 優點

• 可以解決高維問題，即大型特徵空間
• 能夠處理非線性特徵的相互作用
• 無需依賴整個資料
• 可以提高泛化能力

3.2 缺點

• 當觀測樣本很多時，效率並不是很高
• 對非線性問題沒有通用解決方案，有時候很難找到一個合適的核函式
• 對缺失資料敏感

4. 參考資料

1. 資料探勘：理論與演算法 線上課程——清華大學 深圳研究生院 袁博
2. 《資料探勘 概念與技術》——韓家煒、Micheline Kamber、裴健
3. 《Support Vector Machines explained well》—— Iddo