核函式是 SVM 的最重要的部分，我們可以通過設定不同的核函式來創造出非常複雜的、非線性的支援向量機。

1.核(Kernel)

首先來看看什麼是核函式。如圖所示，假設有一個樣本 x 有兩個特徵 x1,x2，我們可以根據與地標(landmarks) l(1),l(2),l(3) 的接近程度(proximity)，或者說相似性(similarity)，來產生新的更多的特徵 ，假如我們有如下三個地標，注意地標的維數和特徵的維數是相同的（後面會解釋什麼是地標，以及地標是怎麼產生的）：

在這裡，我們定義新特徵 f1,f2,f3為：
f1=similarity(x,l(1))=e−‖x−l(1

)‖22σ2f2=similarity(x,l(2))=e−‖x−l(2)‖22σ2f3=similarity(x,l(3))=e−‖x−l(3)‖22σ2
為了看得清楚點，我們用 exp(x) 來表示 e 的 x 次方：
f1=exp(−‖x−l(1)‖22σ2)f2=exp(−‖x−l(2)‖22σ2)f3=exp(−‖x−l(3)‖22σ2)
上面的這個 exp(−‖x−l(i)‖22σ2) 即是一個核函式，這個核函式叫做高斯核(Gaussian Kernel)。高斯核有一個重要的引數 σ，後面會講到它的性質和用處。

2.核與相似性(Kernels ans Similarity)

我們已經知道，對於一組地標(landmarks)，我們定義輸入 x 與 地標 l(i) 的相似性為：

fi=exp(−‖x−l(i)‖22σ2)=exp(−∑nj=1(xj−l(i))22σ2)
所以有：

When

exp(−‖x−l(i)‖22σ2)

x≈ 相關推薦 機器學習筆記09：支援向量機（二）-核函式(Kernels) 核函式是 SVM 的最重要的部分，我們可以通過設定不同的核函式來創造出非常複雜的、非線性的支援向量機。 1.核(Kernel) 首先來看看什麼是核函式。如圖所示，假設有一個樣本 x 有兩個特徵 x1,x2，我們可以根據與地標(landmarks) l(1), 理解支援向量機（二）核函式 由之前對核函式的定義（見統計學習方法定義7.6）： 設χ是輸入空間（歐氏空間或離散集合），Η為特徵空間（希爾伯特空間），如果存在一個從χ到Η的對映 φ(x): χ→Η 使得對所有的x,z∈χ,函式Κ(x,z)=φ(x)∙φ(z)， 則稱Κ(x,z)為 Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine) 構建支援向量機 1.替換邏輯迴歸函式 2.去除多餘的常數項 1/m 3.正則化項係數的處理 大間距分類器 SVM決 機器學習--支援向量機（五）核函式詳解 前面我們曾經引入二維資料的非線性的情況，但是那種非線性（並不是真正意義上的非線性）是通過鬆弛因子進行優化的，如果資料比之前還複雜怎麼辦呢？ 複雜到即使你怎麼調節C你都無法進行分類，這個時候怎麼辦？如下例子： 這個無論你怎麼調節引數都無法在二維平面內進行線性分離了，但是 3. 支援向量機（SVM）核函式 1. 前言 之前介紹了SVM的原理和SVM的軟間隔，它們已經可以很好的解決有異常點的線性迴歸問題，但是如果本身是非線性的問題，目前來看SVM還是無法很好的解決的。所以本文介紹SVM的核函式技術，能夠順利的解決非線性的問題。 2. 多項式迴歸 在線性迴歸一節中我們有介紹線性迴歸解決非線性的一個方法就是多項 機器學習筆記（五）：支援向量機（SVM） 支援向量機是目前機器學習的眾多演算法中使用得最為廣泛的演算法之一，本文主要介紹支援向量機的概念與原理。 目錄 什麼是支援向量機 硬間隔線性支援向量機 軟間隔線性支援向量機 非線性支援向量機     一、什麼是支援向量機 &nbs 斯坦福CS229機器學習筆記-Lecture8- SVM支援向量機 之核方法 + 軟間隔 + SMO 演算法 作者：teeyohuang 本文系原創，供交流學習使用，轉載請註明出處，謝謝 宣告：此係列博文根據斯坦福CS229課程，吳恩達主講 所寫，為本人自學筆記，寫成部落格分享出來           博文中部分圖片和公式都來源於CS229官方notes。       【機器學習筆記17】支援向量機 【參考資料】 【1】《統計學習方法》 基本概念 當訓練資料線性可分時，通過硬間隔最大化，學習一個線性的分類器，即線性可分支援向量機，又稱硬間隔支援向量機； 當訓練資料近似線性可分時，通過軟間隔（增加一個鬆弛因子）後學習一個線性的分類器，即軟間隔支援向量機； 機器學習之旅：支援向量機通俗導論（理解SVM的三層境界）  支援向量機通俗導論（理解SVM的三層境界）作者：July、pluskid ；致謝：白石、JerryLead出處：結構之法演算法之道blog。前言    動筆寫這個支援向量機(support vector machine)是費了不少勁和困難的，原因很簡單，一者這個東西本身就並 機器學習（7）——支援向量機（二）：線性可分支援向量機到非線性支援向量機 線性可分支援向量機 回顧 前面總結了線性可分支援向量機，知道了支援向量機的最終目的就是通過“間隔最大化” 得到最優分類器，能夠使最難區分的樣本點得到最大的分類確信度，而這些難區分的樣本就是支援向量。 還是如下圖所示，超平面H1 和 H2 支撐著中間的決 機器學習回顧篇（11）：支援向量機（SVM）   1. 引言¶ SVM，Support Vector Machine，也就是我們中文名的支援向量機，我相信，只要是與機器學習有過照面的童鞋或多或少都聽說過這個名字。作為機器學習家族中的老牌成員，其經典自不必說。從原理和特性上講，SVM 【資料科學系統學習】機器學習演算法 # 西瓜書學習記錄 [8] 支援向量機（二） 這兩篇內容為西瓜書第 6 章支援向量機 6.1，6.2，6.4，6.3 的內容： 6.1 間隔與支援向量 6.2 對偶問題 6.4 軟間隔與正則化 6.3 核函式 由於本章內容較多，分為兩篇來敘述。本篇所包含內容為軟間隔與正則化和核函式。關於間隔與支援向量和 【機器學習實戰-python3】支援向量機（Support Vecrtor Machines SVM） 工具：PythonCharm 書中的程式碼是python2的，而我用的python3，結合實踐過程，這裡會標註實踐時遇到的問題和針對python3的修改。 實踐程式碼和訓練測試資料可以參考這裡 https://github.com/stonycat/ML 機器學習筆記4：正則化（Regularization） 機器學習筆記4：正則化（Regularization） Andrew Ng機器學習課程學習筆記4 過擬合與欠擬合 　　線性擬合時，有兩種擬合效果不好的情況，分別是過擬合與欠擬合。 　　過擬合(overfitting)，也叫高方差(variance)。主要是擬合曲線過於彎曲，雖然 機器學習筆記五：廣義線性模型（GLM） 一.指數分佈族 在前面的筆記四里面，線性迴歸的模型中，我們有，而在logistic迴歸的模型裡面，有。事實上，這兩個分佈都是指數分佈族中的兩個特殊的模型。所以，接下來會仔細討論一下指數分佈族的一些特點，會證明上面兩個分佈為什麼是指數分佈族的特性情況以及怎麼用到 機器學習筆記九：K近鄰演算法（KNN） 一.基本思想 K近鄰演算法，即是給定一個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的K個例項，這K個例項的多數屬於某個類，就把該輸入例項分類到這個類中。如下面的圖： 通俗一點來說，就是找最“鄰近”的夥伴，通過這些夥伴的類別來看自己的類別 吳恩達老師機器學習筆記K-means聚類演算法（二） 運用K-means聚類演算法進行影象壓縮 趁熱打鐵，修改之前的演算法來做第二個練習—影象壓縮 原始圖片如下： 程式碼如下： X =imread('bird.png'); % 讀取圖片 X =im2double(X); % unit8轉成double型別 [m,n,z]=size 支援向量機（二）——深入理解最優間隔分類器 1. 最優間隔分類器理論 之前我們提到在支援向量機中，我們的目標是尋找一個超平面，使得離超平面比較近的點能有更大的間距，也就是說我們不必考慮所有的點都必須遠離超平面，我們關心求得的超平面能夠讓所有點中離它最近的點有最大間距。 因此，注意最優間隔分類器我們的任 【機器學習】範數規則化之（二）核範數與規則項引數選擇 OK，回到問題本身。我們選擇引數λ的目標是什麼？我們希望模型的訓練誤差和泛化能力都很強。這時候，你有可能還反映過來，這不是說我們的泛化效能是我們的引數λ的函式嗎？那我們為什麼按優化那一套，選擇能最大化泛化效能的λ呢？Oh，sorry to tell you that，因為泛化效能並不是λ的簡單的函式！它具有很 機器學習公開課筆記(7)：支援向量機 支援向量機(Support Vector Machine, SVM) 考慮logistic迴歸，對於$y=1$的資料，我們希望其$h_\theta(x) \approx 1$，相應的$\theta^Tx \gg 0$; 對於$y=0$的資料，我們希望$h_\theta(x) \approx 0$，相應的$\