Python實現支援向量機(SVM) MNIST資料集

阿新 • • 發佈：2018-11-20

Python實現支援向量機(SVM) MNIST資料集

SVM的原理這裡不講，大家自己可以查閱相關資料。

下面是利用sklearn庫進行svm訓練MNIST資料集，準確率可以達到90%以上。


from sklearn import svm
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('MNIST_data', one_hot=False)
train_num = 10000
test_num = 1000 


x_train = mnist.train.images
y_train = mnist.train.labels
x_test = mnist.test.images
y_test = mnist.test.labels

# 獲取一個支援向量機模型
predictor = svm.SVC(gamma='scale', C=1.0, decision_function_shape='ovr', kernel='rbf')
# 把資料丟進去
predictor.fit(x_train[:train_num], y_train[:train_num])
# 預測結果
result = predictor. 
predict(x_test[:test_num])
# 準確率估計
accurancy = np.sum(np.equal(result, y_test[:test_num])) / test_num
print(accurancy)

SVC函式的引數解析

gamma

支援向量機的間隔，即是超平面距離不同類別的最小距離，是一個float型別的值，可以自己規定，也可以用SVM自己的值，有兩個選擇。

auto 選擇auto時，gamma = 1/feature_num ,也就是特徵的數目分之1
scale 選擇scale時，gamma = 1/(feature_num * X.std()), 特徵數目乘樣本標準差分之1. 一般來說，scael比auto結果準確。

C

看到過SVM公式推導的同學對C一定不陌生，它是鬆弛變數的係數，稱為懲罰係數,用來調整容忍鬆弛度,當C越大，說明該模型對分類錯誤更加容忍，也就是為了避免過擬合。

decision_function_shape

兩個選擇

ovr one vs rest 將一個類別與其他所有類別進行劃分
ovo one vs one 兩兩劃分

kernel

核函式的選擇

當樣本線性可分時，一般選擇linear 線性核函式
當樣本線性不可分時，有很多選擇，這裡選擇rbf 即徑向基函式，又稱高斯核函式。

Python實現支援向量機(SVM) MNIST資料集

Python實現支援向量機(SVM) MNIST資料集 SVM的原理這裡不講，大家自己可以查閱相關資料。下面是利用sklearn庫進行svm訓練MNIST資料集，準確率可以達到90%以上。 from sklearn import svm import numpy as np

Python實現支援向量機（基於雙月資料集）

1、生成資料集 class moon_data_class(object): def __init__(self,N,d,r,w): self.N=N self.w=w self.d=d self.r=

Python 實現樸素貝葉斯 MNIST資料集

Python實現樸素貝葉斯演算法樸素貝葉斯是機器學習的一種演算法，之所以成為樸素，是因為它的想法“簡單”，簡單地認為樣本中所有的特徵都無關，即P(AB) = P(A)P(B)。所以，有 P(y|xi) = P(y)P(x0 = xi0|y)P(x1 = xi1|y)P(x2 = x

【支援向量機SVM】演算法原理公式推導 python程式設計實現

1.前言如圖，對於一個給定的資料集，通過直線A或直線B（多維座標系中為平面A或平面B）可以較好的將紅點與藍點分類。那麼線A與線B那個更優呢？在SVM演算法中，我們認為線A是優於線B的。因為A的‘分類間隔’大於B。

支援向量機SVM通俗理解（python程式碼實現）

這是第三次來“複習”SVM了，第一次是使用SVM包，呼叫包並嘗試調節引數。聽聞了“流弊”SVM的演算法。第二次學習理論，看了李航的《統計學習方法》以及網上的部落格。看完後感覺，滿滿的公式。。。記不住啊。第三次，也就是這次通過python程式碼手動來實現SVM，才

支援向量機SVM演算法應用【Python實現】

from __future__ import print_function from time import time import logging import matplotlib.pyplot as plt from sklearn.cross_validation import train_te

Python中的支援向量機SVM的使用（有例項）

轉載自https://www.cnblogs.com/luyaoblog/p/6775342.html。謝謝作者整理，若侵權告知即刪。除了在Matlab中使用PRTools工具箱中的svm演算法，Python中一樣可以使用支援向量機做分類。因為Python中的sklearn庫也集成了SVM演算

機器學習演算法——支援向量機svm，實現過程

初學使用python語言來實現支援向量機演算法對資料進行處理的全過程。 from sklearn.datasets import load_iris #匯入資料集模組 from sklearn.model_selection import train_test_spli

統計學習方法_支援向量機SVM實現

由於在MNIST上執行SVM耗時過久，所以這裡使用了偽造的資料集，並使用線性核和多項式核進行實驗。 #!/usr/bin/env python3and # -*- coding: utf-8 -*- import time import random import log

資料探勘十大演算法——支援向量機SVM（一）：線性支援向量機

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！本文轉自“劉建平pinard”，原網址為：http://www.cnblogs.com/pinard/p/6097604.html。支援向量機原理SVM系列文章共分為5部分：（一）線性支援向量機

Python中使用支援向量機(SVM)實踐

在機器學習領域，支援向量機SVM(Support Vector Machine)是一個有監督的學習模型，通常用來進行模式識別、分類(異常值檢測)以及迴歸分析。其具有以下特徵： (1)SVM可以表示為凸優化問題，因此可以利用已知的有效演算法發現目標函式的

資料探勘十大演算法——支援向量機SVM（四）：SMO演算法原理

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！支援向量機原理SVM系列文章共分為5部分：（一）線性支援向量機（二）線性支援向量機的軟間隔最大化模型（三）線性不可分支援向量機與核函式（四）SMO演算法原理（五）線性支援迴歸

支援向量機SVM：使用sklearn+python

程式碼這個例子主要是演示3種不同的核函式（線性核，高斯核和多項式核）的用法。使用的資料是自動生成的，生成資料的介面是make_blobs。 from sklearn import svm from sklearn.datasets import

資料探勘十大演算法——支援向量機SVM（二）：線性支援向量機的軟間隔最大化模型

資料探勘十大演算法——支援向量機SVM（五）：線性支援迴歸

基於libsvm庫的python支援向量機(SVM)簡明乾貨

最近專案在搞模式識別，通過支援向量機的方法來進行分類，網上看到了python程式碼，但是，只能做到二維分類。維數上去之後，沒有辦法有效識別，這個svm的程式碼有序有時間的話，我會寫好一份多維特徵量判別的程式碼發上來。話題開始，先簡單說說支援向量機：支援向量機SVM,是

資料探勘---分類演算法之支援向量機SVM

這篇來說說支援向量機，說實在的，這個是我的最愛，一直比較看好這個演算法，而且也是花了不少時間在這個上面，下面一起來複習下。同上篇，下面摘自本人的畢業設計論文中，後面給出參考文獻。基於統計學習理論的支援向量機演算法是現代智慧技術

python 支援向量機SVM例項解析

import numpy as npy from sklearn import svm import matplotlib.pyplot as plt '''載入資料''' x1 = [] y1 =

MATLAB支援向量機SVM程式碼實現

本欄目（Machine learning）包括單引數的線性迴歸、多引數的線性迴歸、Octave Tutorial、Logistic Regression、Regularization、神經網路、機器學習系統設計、SVM（Support Vector Machines 支援

支援向量機——sklearn 實現支援向量機（SVM）

《Python machine learning》書籍學習~~~支援向量機的數學模型稍後補上，先來講一下sklearn中的實現。Support Vector Machine(SVM) ,優化目標與感知機相反，感知機是實現錯誤的最小優化；SVM實現邊緣最大優化。邊緣（margi

Python實現支援向量機(SVM) MNIST資料集