前言

當訓練資料集線性可分或者近似線性可分時，前面我們在文一以及文二已經介紹了線性可分支援向量機和線性支援向量機。但是有時訓練資料集是非線性的，這時就可以使用非線性支援向量機。

非線性支援向量機的主要特點就是利用了核技巧。

非線性分類問題

如上面左圖，是一個分類問題，圖中實心點為正類，空心點為負類；我們很容易看出，無法用直線（線性模型）將正負例項正確分開，但是可以通過橢圓曲線（非線性模型）將它們正確分開。

非線性問題往往不好求解，所以我們希望用線性分類問題的方法來解決這個問題。所採用的方法是進行非線性變換。

線性分類方法求解非線性分類問題一般分為兩步：

• 使用一個變換將原空間的資料對映到新空間；
• 在新空間裡使用信線性分類學習方法從訓練資料中學習分類模型。

核技巧

核技巧就是屬於上訴介紹的方法，應用到支援向量機的基本思想就是通過一個非線性變換將輸入空間對應於一個特徵空間，使得在輸入空間中的超曲面模型對應於特徵空間中的超平面模型。

這樣，分類問題的學習任務通過在特徵空間中求解線性支援向量機就可以完成。

核函式的定義

設 X$\mathcal{X}$ 是輸入空間，H$\mathcal{H}$為特徵空間，如果存在一個從X$\mathcal{X}$ 到H$\mathcal{H}$的對映：

ϕ(x):X→H$$\varphi (x):\mathcal{X}\to \mathcal{H}$$
使得對所有x,z∈X,$x,z\in \mathcal{X},$函式K(x,z)$K(x,z)$滿足條件：
K(x,z)=ϕ(x)⋅ϕ(z)$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
則稱

K(x,z)$K(x,z)$為核函式，ϕ(x)$\varphi (x)$為對映函式，式中ϕ(x)⋅ϕ(z)$\varphi (x)\cdot \varphi (z)$為內積

核技巧的想法：在學習與預測中只定義核函式K(x,z)$K(x,z)$，而不顯式地定義對映函式ϕ$\varphi$；
因為通常計算K(x,z)$K(x,z)$比較容易，而通過ϕ(x)和ϕ(z)$\varphi (x)和\varphi (z)$的內積來計算K(x,z)$K(x,z)$並不容易；
ϕ$\varphi$是輸入空間到特徵空間的對映，特徵空間H$\mathcal{H}$往往是高維的，甚至是無窮維；
對於給定的核K(x,z)$K(x,z)$，特徵空間H$\mathcal{H}$和對映函式ϕ$\varphi$的取法並不唯一。

在我們之前學習線性可分支援向量機和線性支援向量機時，無論是目標函式還是決策函式（分離超平面）都只涉及輸入例項與例項之間的內積

。在對偶問題的目標函式中的內積xi,xj$x_i,x_j$，可以用核函式K(xi,xj)=ϕ(xi)⋅ϕ(xj)$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$來代替。此時對偶問題的目標函式成為：

W(α)=12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαi$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
分類決策函式變為：
f(x)=sign(∑i=1Nsα∗iyiK(xi,x)+b∗)$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

這就等價於：
經過對映函式ϕ$\varphi$將原來的輸入空間變換到一個新的特徵空間，將輸入空間中的內積xi⋅x

相關推薦

【機器學習】演算法原理詳細推導與實現(四):支援向量機(上)

【機器學習】演算法原理詳細推導與實現(四):支援向量機(上) 在之前的文章中，包括線性迴歸和邏輯迴歸，都是以線性分界線進行分割劃分種類的。而本次介紹一種很強的分類器【支援向量機】，它適用於線性和非線性分界線的分類方法。 函式間隔概念 為了更好的理解非線性分界線，區別兩種分界線對於分類的直觀理解，第一種直觀理解

【機器學習】演算法原理詳細推導與實現(五):支援向量機(下)

【機器學習】演算法原理詳細推導與實現(五):支援向量機(下) 上一章節介紹了支援向量機的生成和求解方式，能夠根據訓練集依次得出\(\omega\)、\(b\)的計算方式，但是如何求解需要用到核函式，將在這一章詳細推導實現。 核函式 在講核函式之前，要對上一章節得到的結果列舉出來。之前需要優化的凸函式為： \[

【機器學習】支援向量機（4）——非線性支援向量機（核函式）

前言 當訓練資料集線性可分或者近似線性可分時，前面我們在文一以及文二已經介紹了線性可分支援向量機和線性支援向量機。但是有時訓練資料集是非線性的，這時就可以使用非線性支援向量機。 非線性支援向量機的主要特點就是利用了核技巧。 非線性分類問題 如

【機器學習】支持向量機（SVM）

cto nom 機器 ins 神經網絡 學習 參數 mage 36-6 感謝中國人民大學胡鶴老師，課程深入淺出，非常好 關於SVM 可以做線性分類、非線性分類、線性回歸等，相比邏輯回歸、線性回歸、決策樹等模型（非神經網絡）功效最好 傳統線性分類：選出兩堆數據的質心，並

【機器學習】最小二乘法支援向量機LSSVM的數學原理與Python實現

【機器學習】最小二乘法支援向量機LSSVM的數學原理與Python實現 一、LSSVM數學原理 1. 感知機 2. SVM 3. LSSVM 4. LSSVM與SVM的區別 二、LSSVM的py

【機器學習】tensorflow: GPU求解帶核函式的SVM二分類支援向量機

SVM本身是一個最優化問題，因此理所當然可以用簡單的最優化方法來求解，比如SGD。2007年pegasos就發表了一篇文章講述簡單的求解SVM最優化的問題。其求解形式簡單，但是並沒有解決核函式計算量巨大的問題。這裡給出了一個tensorflow的帶核函式的SVM

【機器學習】支援向量機SVM原理及推導

參考：http://blog.csdn.net/ajianyingxiaoqinghan/article/details/72897399 部分圖片來自於上面部落格。 0 由來 在二分類問題中，我們可以計算資料代入模型後得到的結果，如果這個結果有明顯的區別，

【機器學習】支援向量機SVM及例項應用

【機器學習】支援向量機1.分類超平面與最大間隔2.對偶問題與拉格朗日乘子法3.核函式4.軟間隔與正則化    準備：            資料集        匯入SVM模組    步驟：1.讀取資料集        2.劃分訓練樣本與測試樣本        3.訓練SVM

王小草【機器學習】筆記--支援向量機SVM

標籤（空格分隔）： 王小草機器學習筆記 1.SVM的原理與目標 1.1 分割超平面 來看上圖，假設C和D是兩個不想交的凸集，則存在一個超平面P，這個P可以將C和D分離。 這兩個集合的距離，定義為兩個集合間元素的最短距離。 做集合C和集合

【機器學習】主成分分析PCA（Principal components analysis）

大小 限制 總結 情況 pca 空間 會有 ges nal 1. 問題 真實的訓練數據總是存在各種各樣的問題：　　1、 比如拿到一個汽車的樣本，裏面既有以“千米/每小時”度量的最大速度特征，也有“英裏/小時”的最大速度特征，

【機器學習】谷歌的速成課程（一）

label spa dev 分類 ram 做出 org ron 表示 問題構建 (Framing) 什麽是（監督式）機器學習？簡單來說，它的定義如下： 機器學習系統通過學習如何組合輸入信息來對從未見過的數據做出有用的預測。 標簽 在簡單線性回歸中，標簽是我們要預測

【機器學習】簡單理解精確度（precision）和準確率（accuracy）的區別

    不少人對分類指標中的Precision和Accuracy區分不開，在其他部落格中也有很多相關介紹，但總體不夠簡明易懂。     筆者在查閱了若干資料後，總結如下：     Precis

【機器學習】Windows +Anaconda3(python3.5)+opencv3.4.1 安裝（2）

                 Windows +Anaconda3(python3.5)+opencv3.4.1 安裝（2）   原文參考：https://www.cnblogs.com/

【機器學習】Windows +Anaconda3(python3.5)+opencv3.4.1 安裝（1）

              Windows +Anaconda3(python3.5)+opencv3.4.1 安裝（1）   1. Anacond的介紹    Anaconda指的是一個

【機器學習】Windows +Anaconda3(python3.5)+opencv3.4.1 安裝（4）

           Windows +Anaconda3(python3.5)+opencv3.4.1 安裝(4)    想解決import cv2問題 ，於是在網上找了一些方法，但是許多是不可行的，後來發現一

【機器學習】softmax迴歸（二）

通過上篇softmax迴歸已經知道大概了，但是有個缺點，現在來仔細看看 Softmax迴歸模型引數化的特點 Softmax 迴歸有一個不尋常的特點：它有一個“冗餘”的引數集。為了便於闡述這一特點，假設我們從引數向量  中減去了向量 ，這時，每一個

【機器學習】softmax迴歸（一）

在 softmax迴歸中，我們解決的是多分類問題（相對於 logistic 迴歸解決的二分類問題），類標  可以取  個不同的值（而不是 2 個）。因此，對於訓練集 ，我們有 。（注意此處的類別下標從 1 開始，而不是 0）。例如，在 M

【機器學習】基於sklearn-MLP多層感知機例項

在之前的【【深度學習】DNN神經網路模型】一文中弄清楚MLP基礎由來，本次進一步基於sklearn機器學習庫來實現該過程。 首先看一下簡單的MLP例項： 下面同樣基於手寫MNIST資料集來進行MLP例項： MLP引數眾多，以下一一說明： hidden_layer_sizes :元祖格式，長度

【機器學習】決策樹與隨機森林（轉）

文章轉自： https://www.cnblogs.com/fionacai/p/5894142.html    首先，在瞭解樹模型之前，自然想到樹模型和線性模型有什麼區別呢？其中最重要的是，樹形模型是一個一個特徵進行處理，之前線性模型是所有特徵給予權重相加得到一個新的值。決

【機器學習】Apriori演算法——原理及程式碼實現（Python版）

Apriopri演算法 Apriori演算法在資料探勘中應用較為廣泛，常用來挖掘屬性與結果之間的相關程度。對於這種尋找資料內部關聯關係的做法，我們稱之為：關聯分析或者關聯規則學習。而Apriori演算法就是其中非常著名的演算法之一。關聯分析，主要是通過演算法在大規模資料集中尋找頻繁項集和關聯規則。