引言：

對於SVM的核函式，許多初學者可能在一開始都不明白核函式到底是怎麼做到從二維空間對映到三維空間（這裡我們特徵空間以二維為例），因此本文主要講解其中一種核函式——-高斯核函式作為介紹，另外感謝Andrew Ng在網易雲課堂深入淺出的講解，不但加深了我的理解，也為我寫這篇部落格提供了不少素材。

代價函式：
相比於Logistic Regression的代價函式：

SVM的代價函式只是稍微進行修改：

其中hθ(x(i))=11+e−θTx$h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^{T}x}}$其實也就是sigmod函式。
而cost函式可以由下圖中的粉線表示：

為了引出核函式的作用，我們先來觀察決策邊界為非線性的情況：

引入高斯核函式：
首先我們先來看一下三維正態分佈的影象：

從影象中我們可以看出，離中心點越近，函式值就越接近於1。
其公式為：

由指數函式的特徵，我們可以看到，如果指數部分為接近0，那麼y$y$就會接近1；如果指數部分越小，那麼y$y$就會越接近於0。
講到這裡，是否有點熟悉的感覺？沒錯，之前我在講標籤判定的時候，說到θTx(i)${\theta }^T{x}^{(i)}$決定著最後類別的確定，那麼試想一下，如果我們把2維平面上的點，對映到到上圖中，那麼從上往下看就會看到類似於下面這張同心圓的圖：

因此以任意一種顏色的同心圓作為決策邊界，我們都可以完成對資料集的簡單非線性劃分。那麼問題來了，如何對映到高維空間上去呢？