2. 程式人生 > >[完]機器學習實戰 第六章 支援向量機（Support Vector Machine）

[完]機器學習實戰 第六章 支援向量機（Support Vector Machine）

阿新 • • 發佈：2019-02-13

[參考] 機器學習實戰（Machine Learning in Action）

本章內容

支援向量機（Support Vector Machine）是最好的現成的分類器，“現成”指的是分類器不加修改即可直接使用。基本形式的SVM分類器就可得到低錯誤率的結果。SVM有很多實現，文中採用最流行的一種實現，即序列最小優化（Sequential Minimal Optimization，一種求解支援向量機二次規劃的演算法）演算法。還會介紹如何使用一種稱為核函式（kernel）的方式將SVM擴充套件到更多的資料集上。

優點：泛化錯誤率低，計算開銷不大，結果易理解。
這些優點是其十分流行，有人認為他是監督學習中最好的定式演算法

。與下章中AdaBoost是最好的監督學習的方法相對應。
缺點：對引數調節和核函式的選擇敏感，原始分類器不加修改僅適用於二類問題。
使用資料型別：數值型和標稱型資料。

希望找到離分隔超平面最近的點，確保它們離分隔面的距離儘可能遠。這裡點到分隔面的距離被稱為間隔（margin）。支援向量（support vector）就是離分隔超平面最近的那些點。

分隔超平面的形式可以寫成wT+b，要計算點A到分隔超平面的距離，就必須給出點到分隔面的法線或者垂線的長度，該值為|wTA+b|/∥w∥。常數b類似於Logistic迴歸中的截距w0。向量w和常數b一起描述所給資料的分割線或超平面。

其他概念：線性可分（linearly separable），分隔超平面（separating hyperplane），間隔（margin）

SVM使用類似海維賽德階躍函式（即單位階躍函式）的函式對wT+b作用得到f(wT+b)，其中當u<0時f(u)=−1，反之則輸出+1。不像Logistic迴歸，採用0和1，是因為-1和+1僅僅相差一個符號，方便數學上的處理。可以通過一個統一公式來表示間隔或者資料點到分隔超平面的距離，同時不必擔心資料到底是屬於-1還是+1類。

間隔通過label∗(wTx+b)來表示計算，目標就是找出分類器定義中的w和b，需要找到具有最小間隔的點，這些點就是支援向量。然後，對間隔進行最大化。可以寫作：

argmaxw,b{minn(label⋅(wTx+b))⋅1∥w∥}

上面是對乘積進行優化的事情，需要固定其中一個因子而最大化其他因子。若令所有支援向量的l

abel∗(wTx+b)都為1，那麼可以求∥w∥−1的最大值來得到最終解。但是並非所有資料點的label∗(wTx+b)都等1，只有那些離分隔超平面最近的點得到的值才為1。而離超平面越遠的資料點，其label∗(wTx+b)的值也就越大。

上述優化問題給定了一些約束條件然後求最優值，該問題是一個帶約束條件的優化問題。這裡的優化條件是label∗(wTx+b)≥1.0。此類問題的一個著名的求解方法是拉格朗日乘子法。通過引入拉格朗日乘子，可基於約束條件表達原來的問題。由於這裡的約束條件是基於資料點的，因此就可以將超平面寫成資料點的形式。優化目標函式最後可以寫成：

maxa⎡⎣∑i=1mα−12∑i,j=1mlabel(i)⋅label(i)⋅αi⋅αj⟨xi,xj⟩⎤⎦(1)

其中尖括號表示xi,xj兩個向量的內積，整個目標函式的約束條件為：

α≥0,和∑i=1mαj⋅label(i)=0

因為並非所有資料都100%線性可分，所以需要引入鬆弛變數（slack variable），來允許有些資料點可處於分隔面的錯誤一側。這樣優化目標可保持不變，但此時約束條件則變為：

C≥α≥0,和∑i=1mαi⋅label(i)=0(2)

常數C用於控制“最大化間隔”和“保證大部分點的間隔小於1.0”這兩個目標的權重。在優化演算法的實現程式碼中，C是一個引數，可通過調節該引數得到不同的結果。一旦求出所有的alpha，那麼分隔超平面可通過這些alpha來表達。SVM的主要工作就是求解這些alpha。

其中（1）是最小化目標函式，（2）是優化過程中必須遵循的約束條件。以前，採用二次規劃求解工具（quadratic solver）求解上述最優化問題。

SMO（Sequential Minimal Optimization）是一個強大的演算法，表示序列最小優化。SMO將大優化問題分解成多個小優化問題來求解。此演算法目標是求出一系列alpha和b，一旦求出這些alpha，就容易計算出權重向量w。

SMO演算法的工作原理：每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對“合適”的alpha，那麼就增大其中一個同時減小另一個。“合適”指兩個alpha必須要符合一定條件，條件之一就是這兩個alpha必須要在間隔邊界之外，而其第二個條件則是這兩個alpha還沒有進行過區間化處理或者不在邊界上。

利用核函式將資料對映到高維空間

特徵空間轉換，稱為從一個特徵空間到另一個特徵空間的對映。一般，這種空間對映會將低維特徵空間對映到高維空間。這種對映可通過核函式（kernel）來實現。可以將核函式想象成一個包裝器（wrapper）或者介面（interface）。經過空間轉換後，可在高維空間中解決線性問題，這等價於在低維空間中解決非線性問題。

SVM優化中，所有運算都可以寫成內積（inner product，也成為點積）的形式。向量的內積指的是兩個向量相乘，之後得到單個標量或者數值。可將內積運算替換成核函式，而不必做簡化處理。將內積替換成核函式的方式成為核技巧（kernel trick）或者核“變電”（kernel substation）

徑向基核函式（radial basis function），是一個採用向量作為自變數的函式，能夠基於向量距離運算輸出一個標量。這個距離可以是從<0,0>向量或者其他向量開始計算的距離。可使用徑向基核函式的高斯版本，具體公式：

k(x,y)=exp(−∥x−y∥22σ2)

相關推薦

[完]機器學習實戰 第六章 支援向量機（Support Vector Machine）

[參考] 機器學習實戰（Machine Learning in Action） 本章內容 支援向量機（Support Vector Machine）是最好的現成的分類器，“現成”指的是分類器不加修改即可直接使用。基本形式的SVM分類器就可得到低錯

機器學習實戰第六章支援向量機照葫蘆畫瓢演算法實踐

支援向量機簡要介紹 一些概念： 1.分隔超平面：在二維中直觀來說就是將資料集分隔開來的直線，三維中則是一個平面。觸類旁通。 2.超平面：分類的決策邊界，分佈在超平面一側的所有資料都屬於某個類別，另一側屬於另一個。 3.支援向量：離分隔超平面最近的那些

【機器學習實戰】第6章 支援向量機（Support Vector Machine / SVM）

第6章 支援向量機 <script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default"></script>

《機器學習》 周志華學習筆記第六章 支援向量機（課後習題）python 實現

一、 1.間隔與支援向量 2.對偶問題 3.核函式 xi與xj在特徵空間的內積等於他們在原始yangben空間中通過函式k(.,.)計算的結果。 核矩陣K總是半正定的。 4.軟間隔與正則化 軟間隔允許某些samples不滿足約束  鬆弛變數 5.支援

支援向量機（support vector machine）（一）：線性可分SVM

    總結一下，不然過段時間就全忘了，加油~     1、問題描述     假設，存在兩類資料A，B，如圖1所示，A中資料對應於圖中的實心點，B中資料對應圖中的空心點，現在我們需要得到一條直線，能夠將二者進行區分，這樣的線存在無數條，如圖1中的黑色直線所示，這些線都能夠

支援向量機（support vector machine）（二）：線性SVM

    通常情況下，存在以下兩種情況：    1、分類完全正確的超平面不一定是最好的；    2、樣本資料不是線性可分的；    如圖1所示，如果按照完全分對這個準則來劃分時，L1為最優分割超平面，但是實際情況如果按照L2來進行劃分，效果可能會更好，分類結果會更加魯棒。

淺談支援向量機（Support Vector Machine）

自從在學校安定下來後，小編的學習效率和時長提高了不少。在最近五天的時間裡，看了大約20節視訊並做了對應章節的程式設計練習。上一篇文章介紹了欠擬合和過擬合的知識，這次給小夥伴們介紹下支援向量機的知識。支援向量機和邏輯迴歸（Logistic Regression）很相像，從一方面

周志華《機器學習》第 6 章 支援向量機

本文是 周志華《機器學習》系列文章 之一，主要介紹支援向量機函式及核函式等概念。 第 6 章 支援向量機 6.1 間隔與支援向量 給定訓練樣本集分類學習最基本的想法就是基於訓練集 D 在樣本空間中找到一個劃分超平面，將不同類別的樣本分開。 在樣本

神經網路學習筆記-支援向量機（Support Vector Machine，SVM ）

基於誤差反向傳播演算法的多層感知器 徑向基函式網路 支援向量機（SupportVector Machine ， SVM ） 都是前饋神經網路 ，都用於解決模式分類與非線性對映問題 。 線性可分模

支援向量機（Support Vector Machine，SVM）——　線性SVM

  支援向量機（Support Vector Machine，簡稱 SVM）於 1995 年正式發表，由於其在文字分類任務中的卓越效能，很快就成為機器學習的主流技術。儘管現在 Deep Learning 很流行，SVM 仍然是一種很有的機器學習演算法，在資料集小的情況下能比 Deep Learning 取得更

支援向量機（Support Vector machines）

本節主要是觀看Andrew Ng的斯坦福大學系列視訊CS299第6講、第7講等後，加上個人理解，對支援向量機部分做的一個筆記整理。 本文順序是： 綜述各個部分關係 最大間隔分類器 軟、硬間隔分類 核函式 2 最大間隔分類器 首先，我們應該知道求超

如何使用支援向量機（Support Vector Machine，SVM）思想解決迴歸問題

    迴歸問題的本質其實就是找到一根直線也好曲線也好，能夠最佳程度擬合我們的資料點，在這裡，怎樣定義擬合其實就是迴歸演算法的關鍵。比如說我們之前學過的線性迴歸演算法定義擬合的方式，就是讓我們的資料點到我們預測的直線相應的MSE的值最小，而對於SVM演算法的思路來說，對擬

《機器學習實戰》第六章----支援向量機

支援向量機 SVM(Support Vector Machine)實際上是應用於二分類的一個分類器,其基本模型定義為特徵空間上的間隔最大的線性分類器，其學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解。這裡不對整個過程進行推導,因為看了很多部落格,有幾篇大佬的部落格寫的非

機器學習實戰-第六章（支援向量機）

1 拉格朗日乘子法(等式約束)： 目標函式：f(x)=b+wTxi+∑(αihi),s.t.hi=0 最優解條件：∂h∂xi=0 2 kkt(不等式約束)： 目標函式：f(x)=b+wTxi+∑(αigi)+∑(βihi),s.t.hi=0,gi≤0

機器學習 第六章 支援向量機

6.1 間隔與支援向量 在樣本空間中，劃分超平面可通過如下線性方程來描述： 6.2 對偶問題 我們希望求解式（6.6）來得到大間隔劃分超平面所對應的模型： 對式（6.6）使用拉格朗日乘子法可得到其“對偶問

機器學習之支援向量機SVM Support Vector Machine (六) 高斯核調參

        在支援向量機（以下簡稱SVM）的核函式中，高斯核（以下簡稱RBF）是最常用的，理論上 RBF一定不比線性核函式差，但是在實際應用中，卻面臨幾個重要超引數的調優問題。如果調的不好，可能比線性核函式還要差。所以實際應用中，能用線性核函式得到較好效果的都會選擇

第七章 支援向量機（SVM）

1.1 支援向量機 1.1.1 定義 支援向量機(support vector machine)是一種二分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器間隔最大使它有別於感知機。支援向量機的學習策略是間隔最大化，支援向量機的學習演算法是求解凸二次規劃的最優化演算法。 

機器學習之支援向量機SVM Support Vector Machine (五) scikit-learn演算法庫

一、scikit-learn SVM演算法庫概述         scikit-learn中SVM的演算法庫分為兩類，一類是分類演算法庫，包括SVC、 NuSVC和LinearSVC三個類。另一類是迴歸演算法庫，包括SVR、NuSVR和LinearSVR三個類。相關的

《機器學習實戰》第6章支援向量機(程式碼)

'''Created on Nov 4, 2010Chapter 5 source file for Machine Learing in Action@author: Peter'''from numpy import *from time import sleepdef

【機器學習實戰】第6章 支援向量機

def smoSimple(dataMatIn, classLabels, C, toler, maxIter): """smoSimple Args: dataMatIn 特徵集合 classLabels 類別標籤 C 鬆弛變數