2. 程式人生 > >【深度學習基礎-05】支援向量機SVM（上）-線性可分

【深度學習基礎-05】支援向量機SVM（上）-線性可分

阿新 • • 發佈：2019-01-11

Support Vector Machine

目錄

1背景

2 機器學習的一般框架

3 什麼是超平面

4 線性可區分（linear separatable）和線性不可區分（linear inseparatable）

5 如何計算超平面以及舉例

1背景

Vladimir N. Vapnik和Alexey 在1963年提出

目前的版本是由Corinna Cortes和Vapnik在1993年提出，1995年發表

深度學習2012年出現以前，SVM被認為是機器學習中近十幾年最為成功的演算法

2 機器學習的一般框架

訓練集->提取特徵向量->結合一定演算法（決策樹，KNN）->得到結果

3 什麼是超平面

觀察這3條線，哪個超平面更棒？

SVM選擇區分兩類的超平面（hyper plane）,使得邊際（margin）最大，margin越大，這個未來犯錯概率跟小

那什麼是margin?看下圖

                                                        

總共有多少可能的超平面？其實可以有無數條劃分！

超平面到一側最近點的距離等於到另一側最近點的距離，兩側兩個超平面平行

4 線性可區分（linear separatable）和線性不可區分（linear inseparatable）

  以下3幅圖都線性不可區分  

5 如何計算超平面以及舉例

程式碼學習

from sklearn import svm

#框架
from sklearn import svm

x=[]
y=[]
clf = svm.SVC(kernel = 'linear')
clf.fit(x,y)

print  clf

#支援向量，就是在那兩條線上的點
print clf.support_vectors_

#支援向量是哪幾個，索引值
print clf.support_

#每個類裡找到了幾個支援向量
print clf.n_support_

未完繼續 

相關推薦

【深度學習基礎-05】支援向量機SVM（上）-線性可分

Support Vector Machine 目錄 1背景 2 機器學習的一般框架 3 什麼是超平面 4 線性可區分（linear separatable）和線性不可區分（linear inseparatable） 5 如何計算超平面以及舉例 1背景 Vladim

【深度學習基礎-06】支援向量機SVM（下）-線性不可分

 1 SVM的優點                                      

機器學習(十一) 支持向量機 SVM（上）

gin 模型 結構 線性可分 adding 統計學習 lis 可能 方法 一、什麽是支撐向量機SVM （Support Vector Machine） SVM(Support Vector Machine)指的是支持向量機，是常見的一種判別方法。在機器學習領域，是一個有監

【機器學習筆記17】支援向量機

【參考資料】 【1】《統計學習方法》 基本概念 當訓練資料線性可分時，通過硬間隔最大化，學習一個線性的分類器，即線性可分支援向量機，又稱硬間隔支援向量機； 當訓練資料近似線性可分時，通過軟間隔（增加一個鬆弛因子）後學習一個線性的分類器，即軟間隔支援向量機；

【機器學習演算法推導】支援向量機

線性可分   在二維平面中，正樣本和負樣本可以由一條直線完全隔開。假設存在直線 y =

【機器學習實戰-python3】支援向量機（Support Vecrtor Machines SVM）

工具：PythonCharm 書中的程式碼是python2的，而我用的python3，結合實踐過程，這裡會標註實踐時遇到的問題和針對python3的修改。 實踐程式碼和訓練測試資料可以參考這裡 https://github.com/stonycat/ML

【深度學習基礎-04】最鄰近規則分類（K Nearest Neighbor）KNN演算法

1 基本概念 Cover和Hart在1968年提出了最初的臨近演算法 分類演算法classfication 輸入基於例項的學習instance-based learning ,懶惰學習lazy learning 2 例子：    &n

機器學習：SVM（一）——線性可分支援向量機原理與公式推導

原理 SVM基本模型是定義在特徵空間上的二分類線性分類器（可推廣為多分類），學習策略為間隔最大化，可形式化為一個求解凸二次規劃問題，也等價於正則化的合頁損失函式的最小化問題。求解演算法為序列最小最優化演算法（SMO） 當資料集線性可分時，通過硬間隔最大化，學習一個線性分類器；資料集近似線性可分時，即存在一小

機器學習——支援向量機SVM（一）

在之前做數學建模的時候就有使用過支援向量機的有關知識，但是對於支援向量機的理解一直不是很深刻，尤其是數學推導部分還是存在一些問題。在最近看周志華西瓜書的過程中同樣發現這一問題，西瓜書中對支援向量機的講解部分不是很詳細，所以我又查找了其他的資料。 支援向量機是一種原創性（非組

學習筆記——支援向量機svm（2）對偶問題

回顧 上一篇已經講到了將找一個最好的分割超平面轉化為上面的公式並且用二次規劃來求解的問題。但是還是存在一個問題，這個演算法維度（w的維度）不是跟資料量相關的，而是跟資料內在的vc維度有關的，所以當

支援向量機SVM（三）：基於核函式的非線性SVM

前言 線性分類SVM是一種線性分類非常有效的方法，若分類問題是非線性，需要考慮對資料進行 空間變換，將非線性分類問題轉變為線性分類問題，使非線性SVM的學習轉變為線性SVM的學習。 若使用對映ϕ\phiϕ將例項從原空間X\mathcal XX（一般為歐式空

資料探勘十大演算法——支援向量機SVM（一）：線性支援向量機

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 本文轉自“劉建平pinard”，原網址為：http://www.cnblogs.com/pinard/p/6097604.html。 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機

資料探勘十大演算法——支援向量機SVM（四）：SMO演算法原理

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機 （二）線性支援向量機的軟間隔最大化模型 （三）線性不可分支援向量機與核函式 （四）SMO演算法原理 （五）線性支援迴歸

資料探勘十大演算法——支援向量機SVM（二）：線性支援向量機的軟間隔最大化模型

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機 （二）線性支援向量機的軟間隔最大化模型 （三）線性不可分支援向量機與核函式 （四）SMO演算法原理 （五）線性支援迴歸

資料探勘十大演算法——支援向量機SVM（五）：線性支援迴歸

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機 （二）線性支援向量機的軟間隔最大化模型 （三）線性不可分支援向量機與核函式 （四）SMO演算法原理 （五）線性支援迴歸

支援向量機SVM（二）：基於軟間隔最大化的線性SVM

前言 由上節，線性可分SVM的學習模型為 min⁡ω,b12∣∣ω∣∣2s.t.1−yi(ω⋅xi+b)≤0\begin{aligned} \min_{\bm\omega, b} &\quad\frac{1}{2}||\bm\omega|

【深度學習基礎1】神經網路基礎--邏輯迴歸

  本博文根據 coursera 吳恩達 深度學習整理。作為理解神經網路的基礎。 一、知識點        深度學習本質上是對資料的一種擬合。使用非線性的函式集合作為模型，對樣本對進行損失最小的模擬。首先理解單個神經元的作用和原理，可以從

【深度學習基礎5】深度神經網路的優化與調參(2)

     轉載請註明出處。謝謝。      本博文根據 coursera 吳恩達 Improving Deep Neural Networks: Hyperparameter tuning, Regularizati

【機器學習】支援向量機SVM原理及推導

參考：http://blog.csdn.net/ajianyingxiaoqinghan/article/details/72897399 部分圖片來自於上面部落格。 0 由來 在二分類問題中，我們可以計算資料代入模型後得到的結果，如果這個結果有明顯的區別，

【深度學習基礎-09】神經網路-機器學習深度學習中~Sigmoid函式詳解

目錄 Sigmoid函式常常被用作神經網路中啟用函式   雙曲函式tanh(x) Logistic函式  拓展對比 Sigmoid函式常常被用作神經網路中啟用函式   函式的基本性質： 定義域：(−∞,+∞