支援向量機原理小結（3）——核方法和非線性支援向量機

　　前面兩篇部落格對線性支援向量機進行了詳細的講解，但線性SVM對於非線性的資料是無可奈何的。這篇部落格將講一下非線性支援向量機。

1. 核方法

　　對SVM有過一定耳聞的人，一定聽說過“核技巧”、“核方法”這些名詞，其實核方法並不是只能應用於SVM，還可以應用於其他地方。現在就來講講核方法是如何處理非線性資料的。

　　假設給定如下資料（上面左圖），顯然我們沒法用一條直線將 $^{'} \circ^{'}$ 和 $^{'} \times^{'}$ 分開，如果用一個橢圓，將會得到很好的效果。我們希望將這個非線性分類問題變換為線性問題，通過變換後的線性問題的方法求解原來的非線性問題。上圖中，我們可以將左圖的橢圓變換成右圖中的直線，將非線性分類問題變換為線性分類問題。
　　假設原空間為 $X \in R^{2}, x = (x^{(1)}, x^{(2)}) \in X$

X \in R^{2}, x = (x^{(1)}, x^{(2)}) \in X

，新空間為

Z \in R^{2}, z = (z^{(1)}, z^{(2)}) \in Z

，定義從原空間到新空間的變換為：

z = ϕ (x) = ((x^{(1)})^{2}, (x^{(2)})^{2})

經過變換

z = ϕ (x)

，原空間

X \in R^{2}

變換為

Z \in Z^{2}

，原空間的點相應的變換為新空間中的點，所以原空間的橢圓

w_{1} (x^{(1)})^{2} + w_{2} (x^{(2)})^{2} + b = 0

變換成新空間中的直線

w_{1} z^{(1)} + w_{2} z^{(2)} + b = 0

在變換後的新空間裡，直線

w_{1} z^{(1)} + w_{2} z^{(2)} + b = 0

可以將變換後的正類和負類樣本點正確分開。於是，原空間的非線性可分問題就變成了新空間中的線性可分問題。
　　總結一下，用線性分類方法求解非線性分類問題分為兩步：首先使用一個變換將原空間的資料對映到新空間；然後再新空間裡用線性分類學習方法從訓練資料中學習分類模型。
　　核技巧就屬於這樣的方法，應用到SVM上面的基本想法就是通過一個非線性變換

ϕ (x)

將輸入空間（歐式空間或離散集合）對應於一個特徵空間（希爾伯特空間），使得輸入空間的超曲面模型對應於特徵空間中的超平面模型。幸運的是，如果原始空間是有限維，即屬性數有限，那麼一定存在一個高維特徵空間使樣本線性可分

。於是在特徵空間中分離超平面所對應的模型可表示為：

f (x) = w \cdot ϕ (x) + b

優化目標函式可表示為（約束條件這裡就不寫了）：

\begin{matrix} (1) & min_{α} \frac{1}{2} \sum_{i = 1}^{m} \sum_{j = 1}^{m} α_{i} α_{j} y^{(i)} y^{(j)} (ϕ (x^{(i)}) \cdot ϕ (x^{(j)})) - \sum_{i = 1}^{m} α_{i} \end{matrix}

支援向量機原理小結（3）——核方法和非線性支援向量機

1. 核方法

支援向量機原理小結（3）——核方法和非線性支援向量機

SVM支援向量機系列理論（九）核嶺迴歸

支援向量機學習筆記（一）：線性可分支援向量機

Tkinter開發采用串口通信的上位機軟件（3）

GBDT梯度提升樹演算法原理小結（三）

Spring原理解析（3）- Bean

spring-data-jpa原理探祕（3）-QueryMethod類

機器學習：各演算法小結（3）

五、Pandas小結（3）— 資料合併及分組

高效能Web動畫和渲染原理系列（3）——transform和opacity為什麼高效能

從零開始實現放置遊戲（十二）——實現戰鬥掛機（3）資料字典和快取改造

jquery（3）--常用方法

C++開發人臉性別識別教程（3）——OpenCv配置和ImageWatch插件介紹

跟著實例學習設計模式（3）-工廠方法（創建型）

C++程序設計基礎（3）條件語句和循環語句

尋找“最好”（3）——函數和泛函的拉格朗日乘數法

ceph（3）--Ceph 物理和邏輯結構

Netty學習（3）: 客戶端和服務端的例子

ucosiii學習（3）——任務排程和時間片輪轉

python機器學習入門（3）——裝飾器和元類

支援向量機原理小結（3）——核方法和非線性支援向量機

1. 核方法

相關推薦