支援向量機SVM(Support Vector Machine）作為一種可訓練的機器學習方法可以實現模式分類和非線性迴歸，本文就matlab中的LIBSVM工具箱展開說明。

在matlab中呼叫LIBSVM工具箱可以方便的使用LIBSVM網路，臺灣大學的林智仁教授已經封裝好各方法，大家可以在此下載。

LIBSVM工具箱的主要函式為svmtrain和svmpredict，呼叫格式為

model = svmtrain(train_lable,train_data,options);

[predict_lable,accuracy/mse,dec_value] = svmpredict(test_lable,test_data,model);

svmtrain:

train_lable:訓練標籤

train_data:訓練資料

options:可用的選項即表示的涵義如下
　　-s svm型別：SVM設定型別(預設0)
　　0 -- C-SVC
　　1 --v-SVC
　　2 – 一類SVM
　　3 -- e -SVR
　　4 -- v-SVR
　　-t 核函式型別：核函式設定型別(預設2)
　　0 – 線性：u'v
　　1 – 多項式：(r*u'v + coef0)^degree
　　2 – RBF函式：exp(-gamma|u-v|^2)
　　3 –sigmoid：tanh(r*u'v + coef0)
　　-d degree：核函式中的degree設定(針對多項式核函式)(預設3)
　　-g r(gama)：核函式中的gamma函式設定(針對多項式/rbf/sigmoid核函式)(預設1/ k)
　　-r coef0：核函式中的coef0設定(針對多項式/sigmoid核函式)((預設0)
　　-c cost：設定C-SVC，e -SVR和v-SVR的引數(損失函式)(預設1)
　　-n nu：設定v-SVC，一類SVM和v- SVR的引數(預設0.5)
　　-p p：設定e -SVR 中損失函式p的值(預設0.1)
　　-m cachesize：設定cache記憶體大小，以MB為單位(預設40)
　　-e eps：設定允許的終止判據(預設0.001)
　　-h shrinking：是否使用啟發式，0或1(預設1)
　　-wi weight：設定第幾類的引數C為weight*C(C-SVC中的C)(預設1)
　　-v n: n-fold互動檢驗模式，n為fold的個數，必須大於等於2
　　其中-g選項中的k是指輸入資料中的屬性數。option -v 隨機地將資料剖分為n部分並計算互動檢驗準確度和均方根誤差。以上這些引數設定可以按照SVM的型別和核函式所支援的引數進行任意組合，如果設定的引數在函式或SVM型別中沒有也不會產生影響，程式不會接受該引數；如果應有的引數設定不正確，引數將採用預設值。

下面用一個例子來解釋各引數，使用LIBSVM工具箱自帶的heart_scale.mat資料（共270個樣本，每個樣本有13個屬性）

%% A Little Clean Work
clear;
clc;
close all;
format compact;
%%
% 首先載入資料
load heart_scale;
data = heart_scale_inst;
label = heart_scale_label;
% 建立分類模型
model = svmtrain(label,data,'-s 0 -t 2 -c 1.2 -g 2.8');
% 利用建立的模型看其在訓練集合上的分類效果
[PredictLabel,accuracy,dec_value1] = svmpredict(label,data,model);
accuracy

%% 分類模型model解密
model
Parameters = model.Parameters
Label = model.Label
nr_class = model.nr_class
totalSV = model.totalSV
nSV = model.nSV 

 

Accuracy = 99.6296% (269/270) (classification)
accuracy =
   99.6296
    0.0148
    0.9851
model = 
    Parameters: [5x1 double]
      nr_class: 2
       totalSV: 259
           rho: 0.0514
         Label: [2x1 double]
    sv_indices: [259x1 double]
         ProbA: []
         ProbB: []
           nSV: [2x1 double]
       sv_coef: [259x1 double]
           SVs: [259x13 double]
Parameters =
         0
    2.0000
    3.0000
    2.8000
         0
Label =
     1
    -1
nr_class =
     2
totalSV =
   259
nSV =
   118
   141

這裡為了簡單起見沒有劃分訓練集和測試集，下面探究一下各個引數的意義

1、model.parameters

Parameters =
         0
    2.0000
    3.0000
    2.8000
         0

從上到下依次是

-s svm型別：SVM設定型別(預設0)

-t 核函式型別：核函式設定型別(預設2)

-d degree：核函式中的degree設定(針對多項式核函式)(預設3)

-g r(gama)：核函式中的gamma函式設定(針對多項式/rbf/sigmoid核函式)(預設1/ k)

-r coef0：核函式中的coef0設定(針對多項式/sigmoid核函式)((預設0)

引數數字的意義見上。

2、model.label  model.nr_class

Label =
     1
    -1
nr_class =
     2

model.label表示資料集中類別的標籤都有哪些，這裡是1和-1

model.nr_class表示資料集中一共有多少個類別，這裡是二分類

3、model.totalSV   model.nSV

totalSV =
   259
nSV =
   118
   141

model.totalSV 代表總共的支援向量的數目，這裡共259個支援向量

model.nSV 每類標籤的支援向量數，這裡標籤為1的支援向量有118個，-1的有141個。

4、model.sv_coef   model.SVs   model.rho

model.sv_coef承裝的是259個支援向量雜決策函式中的係數

 model.SVs 承裝259個支援向量

model.rho 決策函式中常數項的相反數

通過model提供的資訊，可以建立上面的決策函式，程式碼實現如下：

%% DecisionFunction
function plabel = DecisionFunction(x,model)

gamma = model.Parameters(4);
RBF = @(u,v)( exp(-gamma.*sum( (u-v).^2) ) );

len = length(model.sv_coef);
y = 0;

for i = 1:len
    u = model.SVs(i,:);
    y = y + model.sv_coef(i)*RBF(u,x);
end
b = -model.rho;
y = y + b;

if y >= 0
    plabel = 1;
else
    plabel = -1;
end

%%
plable = zeros(270,1);
for i = 1:270
    x = data(i,:);
    plabel(i,1) = DecisionFunction(x,model);
end