SVM 支援向量機演算法-原理篇
阿新 • • 發佈：2021-01-20
> **公號：碼農充電站pro**
> **主頁：**
本篇來介紹**SVM 演算法**，它的英文全稱是 *Support Vector Machine*，中文翻譯為**支援向量機**。
之所以叫作支援向量機，是因為該演算法最終訓練出來的模型，由一些**支援向量**決定。所謂的支援向量，也就是能夠決定最終模型的向量。
**SVM 演算法**最初是用來解決**二分類問題**的，而在這個基礎上進行擴充套件，也能夠處理**多分類問題**以及**迴歸問題**。
### 1，SVM 演算法的歷史
早在1963 年，著名的前蘇聯統計學家**弗拉基米爾·瓦普尼克**在讀博士期間，就和他的同事**阿列克謝·切爾沃寧基斯**共同提出了支援向量機的概念。
但由於當時的國際環境影響，他們用俄文發表的論文，並沒有受到國際學術界的關注。
直到 20 世紀 90 年代，**瓦普尼克**隨著移民潮來到美國，而後又發表了 **SVM 理論**。此後，**SVM 演算法**才受到應有的重視。如今，**SVM 演算法**被稱為最好的監督學習演算法之一。
### 2，線性可分的 SVM
SVM 演算法最初用於解決二分類問題，下面我們以最簡單的**二維平面**上的，**線性可分的資料點**來介紹支援向量機。
假設平面上有一些不同顏色的圓圈，這些圓圈是線性可分的，也就是可用一條直線分開。如下：
現在想在平面上畫出一條直線，將這些圓圈分開。通過觀察，你很容易就能畫出一條直線，如下：
但是這樣的直線會有很多，它們都能正確的劃分兩類圓圈，就像下面這幅圖中的一樣：
那麼哪條直線才是最好的呢？通過肉眼我們無法找到那條最好的直線。但是就上圖中的三條直線而言，明顯你會覺得中間那條紅線，會比兩側的兩條線要更好。
因為，如果有一些圓圈往中間靠攏，那麼兩側的那兩條直線就不能將兩種圓圈劃分開了。而中間那條直線依然可以劃分兩種圓圈。如下：
因此，中間那條紅線會比兩側的兩條直線更好，更安全。
雖然通過肉眼我們能知道哪條直線**更好**，但是怎樣才能找到**最好**的那條直線呢？而 SVM 演算法就可以幫我們找到那條最好的直線。
### 3，找到最好的直線
下面我們來看下如何找到最好的那條直線。
首先，找**兩條平行線**，其中一條線經過一個綠色圓圈，剩下的所有綠色圓圈都在這條線的左側；另一條線經過一個淡藍色的圓圈，剩下的所有淡藍色圓圈都在這條線的右側。
如下圖所示的兩條平行線 **L1** 和 **L2**，**L1** 經過了 **A** 圓圈，**L2** 經過了 **B** 圓圈：
接下來，讓 **L1** 以 **A** 為中心進行旋轉，**L2** 以 **B** 為中心進行旋轉，在旋轉的過程中，要保證下面兩個原則：
- L1 與 L2 保持平行。
- 除 A 之外的所有綠色圓圈都在 L1 的左側，除 B之外的所有淡藍色圓圈都在 L2 的右側。
在保證上面兩個原則的前提下旋轉，直到其中的一條線經過第三個圓圈為止。如下：
此時，**L2** 經過了第三個圓圈 **C**。
到此為止，我們要找的那條最好的，能夠劃分兩種圓圈的直線，就是 **L1** 和 **L2** 中間的那條直線，如下圖中的 **L3**：
### 4，SVM 演算法
**SVM 演算法**的求解過程，就是尋找那條最佳直線的過程。
在 SVM 演算法中，上面的 **A，B，C** 三個點叫作**支援向量**，直線 **L3** 是最佳直線，擴充套件到多維空間，這條直線叫作**超平面**。SVM 演算法的目的就是找到這個**超平面**，這個超平面是劃分資料點的最佳平面。
關於**支援向量**，更重要的是，**SVM** 訓練出的最終模型，**只與支援向量有關**，這也是**支援向量機**的名稱來源。就像 SVM 的發明者瓦普尼克所說的那樣：*支援向量機這個名字強調了這類演算法的關鍵是如何根據支援向量構建出解，演算法的複雜度也主要取決於**支援向量的數目***。
直線 **L1** 和 **L2** 之間有**無數條平行直線**都可以將兩類圓圈分開，支援向量到這些平行直線的距離叫作**分類間隔**，而**間隔最大**的那條直線就是最佳直線，也就是 **L3**。
多維空間中的超平面可以用線性方程來表示：
其中的 **W** 為法向量，它決定了超平面的方向。**b** 為截距，它決定了超平面與空間原點的距離。
超平面將特徵空間分為兩部分，法向量所指向的一側的資料為正類，標記為 **+1**；另一側的資料為負類，標記為 **-1**。
二維座標系中的線性方程如下圖所示：
支援向量機的學習過程是一個**凸二次規劃問題**，可以用 **SMO 演算法**高效求解。
>