2. 程式人生 > >SVM支援向量機系列理論（五）SVM中幾種核函式的對比

SVM支援向量機系列理論（五）SVM中幾種核函式的對比

阿新 • • 發佈：2018-11-26

核函式可以代表輸入特徵之間特殊的相似性。

5.1 線性核

形式：

K ( x , x ′ )

= x T x ′

優點：

  • 方案首選，奧卡姆剃刀定律
  • 簡單，可以求解較快一個QP問題
  • 可解釋性強：可以輕易知道哪些feature是重要的，

限制：只能解決線性可分問題

5.2 多項式核

形式：

xTx′)Q a≥0,r>0" role="presentation" style="position: relative;"> K ( x , x ′ )
= ( a + r   x T x ′ ) Q   a ≥ 0 , r > 0

含有三個引數 ( a , r , Q ) ，要注意 ( a , r ) 有範圍的限制才成為一個一般的核函式。

優點：

  • 可解決非線性問題
  • 可通過主觀設定Q來實現總結的預判

缺點：

  • 對於大數量級的Q，不太適用，因為Q比較大時 ( a + r   x T x ′ ) > 1 會導致K趨向一個很大的數。 ( a + r   x T x ′ ) < 1 時，K趨向於0.

  • 比較多的引數要選擇 ( a , r , Q ) ，比較困難

通常只用在已經大概知道一個比較小的Q的情況

5.3 高斯核

形式：

K ( x , x ′ ) = e x p ( − r   | | x − x ′ | | 2 )

優點：

  • 可以對映到無限維
  • 決策邊界更為多樣
  • 只有一個引數，相比多項式核容易選擇

缺點：

  • 可解釋性差(無限多維的轉換，無法算w)
  • 計算速度比較慢(解一個對偶問題)
  • 容易過擬合(引數選不好時容易overfitting)

相關推薦

SVM支援向量機系列理論（五）SVM中幾種核函式的對比

核函式可以代表輸入特徵之間特殊的相似性。 5.1 線性核 形式： K(x,x′)=xTx′ K ( x ,

SVM支援向量機系列理論（六） SVM過擬合的原因和SVM模型選擇

6.1 SVM 過擬合的原因 實際我們應用的SVM模型都是核函式+軟間隔的支援向量機，那麼，有以下原因導致SVM過擬合： 選擇的核函式過於powerful，比如多項式核中的Q設定的次數過高 要求的間隔過大，即在軟間隔支援向量機中C的引數過大時，表示比較重視間隔，堅持要資

SVM支援向量機系列理論（九） 核嶺迴歸

1. 嶺迴歸問題 嶺迴歸就是使用了L2正則化的線性迴歸模型。當碰到資料有多重共線性時（自變良量存在高相關性），我們就會用到嶺迴歸。 嶺迴歸模型的優化策略為： minw    1N∑i(yi−w⋅zi)2+λNwTw&nbs

SVM支援向量機系列理論（七） 線性支援向量機與L2正則化 Platt模型

7.1 軟間隔SVM等價於最小化L2正則的合頁損失 上一篇 說到， ξi ξ i \xi_i 表示偏離邊界的度量，若樣本點

SVM支援向量機系列理論（四） 軟間隔支援向量機

4.1 軟間隔SVM的經典問題 4.2 軟間隔SVM的對偶問題 4.2.1 軟間隔SVM的對偶問題學習演算法 4.3 軟間

SVM支援向量機系列理論（三） 非線性支援向量機與核函式技巧

3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核

SVM支援向量機系列理論（二） 線性可分SVM模型的對偶問題

2.1 對偶問題 2.1.1 原始問題的轉換 2.2.2 強對偶性和弱對偶性 2.3.3 SVM模型的對偶問題形式求解

SVM支援向量機系列理論(八) 核邏輯迴歸

kernel 邏輯迴歸（KRL）就是使用Representer Theory在L2正則的邏輯迴歸模型中應用核技巧。 1. Representer Theoem Representer Theoem是說，對於任何一個L2正則化的線性模型，其最優的權重向量 w∗

PCA+支援向量機-人臉識別（五）

一）：實驗準備 對於上篇中資料庫ORL人臉庫和AR人臉庫（下載地址在上篇中有），在上篇中討論的單純的PCA演算法對兩個資料庫進行了準確率計算，本篇為了提高識別準確率，特採用一種新方法，並結合PCA一起實現識別，實驗結果發現該方法能明顯提高兩者資料庫的識別率。 二）：關

支援向量機之推導（二）

SVM演算法要解決的是一個最優分類器的設計問題 線性SVM演算法的數學建模 一個最優化問題通常有兩個最基本的因素：1）目標函式，也就是你希望什麼東西的什麼指標達到最好；---- 分類間隔2）優化物件，你期望通過改變哪些因素來使你的目標函式達到最優。---決策面 線上性SVM演算法中，目標函式顯然就是那個

支援向量機通俗導論（一）

第一層、瞭解SVM 支援向量機，因其英文名為support vector machine，故一般簡稱SVM，通俗來講，它是一種二類分類模型，其基本模型定義為特徵空間上的間隔最大的線性分類器，其學習策略

支援向量機學習筆記（三）：非線性支援向量機與SMO演算法

非線性問題 在之前學了線性支援向量機，通過訓練集學習到分離超平面 w x +

支援向量機學習筆記（二）：線性支援向量機

在前面已經講了線性可分支援向量機，是基於訓練集是線性可分的假設下，但是現實生活中往往資料集不是可分的，會存在著噪音或異常值，看下面的圖。 補充：個人習慣，接下來會將凸二次規劃模型稱為支援向量機模型，因為支援向量機是通過求解凸二次規劃模型最終得到分離超平面。另外分離超平面

支援向量機學習筆記（一）：線性可分支援向量機

SVM是用來做二類分類的模型，有簡到難分為線性可分支援向量機（或者說硬間隔支援向量機）、線性支援向量機（軟間隔支援向量機）、非線性支援向量機。下面先講最簡單的線性可分支援向量機。 以下會按順序講到： 線性可分支援向量機介紹 函式間隔與幾何間隔 支援向量機模型推導

支援向量機原理小結（3）——核方法和非線性支援向量機

　　前面兩篇部落格對線性支援向量機進行了詳細的講解，但線性SVM對於非線性的資料是無可奈何的。這篇部落格將講一下非線性支援向量機。 1. 核方法 　　對SVM有過一定耳聞的人，一定聽說過“核技巧”、“核方法”這些名詞，其實核方法並不是只能應用於SVM，還

MATLAB學習（五）MATLAB中呼叫C語言函式

在MATLAB中呼叫C語言，可以共用程式碼，並且提高MATLAB程式的效率。查閱了網上的資料，做了一個整合。 親測效果如下： 1、MATLAB呼叫C語言函式的原理 這篇文章對MexFuntion中的每個變數，傳值過程等都寫得很清楚 2、MATLAB呼叫C語言例項

（整理） SQL中幾種連線的相互區別

連線型別定義內連線只連線匹配的行左外連線包含左邊表的全部行（不管右邊的表中是否存在與它們匹配的行），以及右邊表中全部匹配的行右外連線包含右邊表的全部行（不管左邊的表中是否存在與它們匹配的行），以及左邊表中全部匹配的行全外連線包含左、右兩個表的全部行，不管另外一邊的表中是否

機器學習實戰系列（五）：SVM支援向量機

課程的所有資料和程式碼在我的Github：Machine learning in Action，目前剛開始做，有不對的歡迎指正，也歡迎大家star。除了 版本差異，程式碼裡的部分函式以及程式碼正規化也和原書不一樣（因為作者的程式碼實在讓人看的彆扭，我改過後看起來舒服多了）

SVM系列理論（十） SVR支援向量迴歸

1 敏感度損失函式 2 支援向量迴歸模型的匯出 3 對偶形式的匯出 4 KKT條件匯出支援向量 5 KKT條件匯出b的值

skiti-learn 支援向量機類庫（SVM）

SVM演算法庫分為兩類，一類是分類演算法庫，SVC，NuSVC,LinearSVC；另一類是迴歸演算法庫，SVR,NuSVR,LinearSVR。 分類演算法庫中，SVC，NuSVC差不多，區別在於損失的度量方式不同；LinearSVC是線性分類，不支援從低維到高維的核函式，僅僅支援線性核函