對解線性分類問題，線性分類支援向量機是一種非常有效的方法。但是，有時分類問題
時非線性的，這時可以使用非線性支援向量機。非線性支援向量機，其主要特點是利用核技巧，在此，我主要介紹高斯核函式。

1. SVM簡單介紹
   支援向量機的基本模型是定義在特徵空間的間隔最大的線性分類器，間隔最大使它有別於感知機；支援向量機還包括核技巧，這使它成為實質上的非線性分類器。支援向量機的學習策略就是間隔最大化，可形式化為一個求解凸二次規劃的問題，也等價於正則化的合頁損失函式的最小化問題。支援向量機的學習演算法是求解凸二次規劃的最優化演算法。下圖是線性可分且特徵為二維時的一個支援向量機的示意圖。
   聽了上述的介紹，肯定還是有人會懵圈，什麼凸二次規劃，什麼合頁損失函式的。沒有關係，這個不是本文的重點，網上可以找到這些名詞的詳細說明。
   
   
   SVM的分類決策函式可以寫為：
   
   當引入核技巧時，分類決策函式變為：
   
   上式等價於經過對映函式ϕ將原來的輸入空間變換到一個新的空間，將輸入空間的內積x_i x_j變換為新的特徵空間的內積ϕ(x_i )ϕ(x_j )，而這個在新特徵空間的內積又可以用核函式K(x_i,x_j )直接計算得出
2. 高斯核函式
   對於每一個核函式，我們都無法想象資料被對映到新空間後，到底有了哪些變化，比如新空間中樣本的分佈。下面就來簡單討論一下高斯核函式的引入，使得樣本在新空間中有怎樣的分佈情況。
   
   首先，高斯核函式對應的對映函式將樣本投射到一個無限維的空間中去了，這個可以將高斯核函式進行多項式展開得到結論。
   其次，對映到的新空間後，所有的樣本點分佈在以原點為圓心半徑為1的1/4球面上。
   證明如下：