在上一篇博文中：Matlab實現BP神經網路和RBF神經網路（一） 中，我們討論了BP網路設計部分，下面我們將設計RBF網路並將它們結果與SVM對比。

資料格式不變，詳情請看上一篇博文。

RBF神經網路：

RBF網路和BP網路都是非線性多層前向網路，它們都是通用逼近器。對於任一個BP神經網路，總存在一個RBF神經網路可以代替它，反之亦然。但是這兩個網路也存在著很多不同點，他們在網路結構、訓練演算法、網路資源的利用及逼近效能方面均有差異。RBF網路輸入層與隱含層直接連線，相當於直接將輸入向量輸入到隱含層，隱含層的啟用函式有幾種，最常用的是高斯函式：

σ稱為徑向基函式的擴充套件常數

，它反應了函式影象的寬度，σ越小，寬度越窄，函式越具有選擇性。RBF網路傳遞函式是以輸入向量與中心向量之間的距離|| X-Cj ||作為自變數的，把高斯函式中的r替換為|| X-Cj ||即可。RBF網路需要確定的引數是資料中心C，擴充套件常數σ和隱含層到輸出層的權值。從網上查閱資料說，RBF網路可以根據具體問題確定相應的網路拓撲結構，具有自學習、自組織、自適應功能，它對非線性連續函式具有一致逼近性，學習速度快，可以進行大範圍的資料融合，可以並行高速地處理資料。RBF神經網路的優良特性使得其顯示出比BP神經網路更強的生命力，正在越來越多的領域內替代BP神經網路。下圖是一個輸出神經元RBF網路的示意圖：

初始化引數：

同BP網路，RBF訓練前同樣需要初始化各類引數，RBF網路初始化引數有兩種方法，一種是監督學習，一種是非監督學習。

（1）非監督方法：

資料中心的選取可以採用非監督的聚類演算法，例如kmeans演算法，直接求出k個數據中心不再變化，而擴充套件常數可根據各中心間距離來確定：

其中 為重疊係數。確定資料中心和擴充套件常數後，權值可以通過求線性方程組求出。

（2）監督方法：

最一般的情況，RBF函式中心、擴充套件常數、輸出權值都應該採用監督學習演算法進行訓練，經歷一個誤差修正學習的過程，與BP網路的學習原理一樣。同樣採用梯度下降法，定義目標函式：

其中，c表示輸出層神經元的個數，tk表示第k個輸出神經元期望輸出，zk表示實際輸出。在本實驗資料中，k取1。Zk由下式計算：

其中，M表示隱含層神經元的個數，Wkj表示隱含層到輸出層的權值，X表示輸入樣本，Cj表示第j個隱含層神經元的資料中心。
分別計算目標函式E對權值Wkj、Cj和擴充套件常數σ的偏導，得到以下的更新公式：

做好以上準備工作後，就可以開始實驗了。本實驗採用監督學習的方式來求取各引數，訓練協議同樣是成批訓練，當然也可以隨機訓練，結果都差不多。演算法開始前，需要初始化各引數。隱含層神經元初始化為10，對於Wkj，可以隨機在範圍 內選取；對於資料中心C，可以從訓練資料中隨機選出10個樣本作為資料中心；而對於σ，由於它決定了徑向基函式的寬度，觀察實驗資料的範圍，使徑向基函式能夠覆蓋整個範圍即可，本實驗中，在2-4之間隨機取10個值來初始化σ。學習率取0.01，目標函式的變化閾值取0.01，這些引數都需要根據實驗結果調整。

實驗程式碼：

初始化工作後，編寫程式碼測試。資料分成10份，每份300樣本，同樣採用10-fold交叉驗證的方法，最後求準確率的平均值。
（1）函式 Batch_RBF_neutral_network.m

function correct_rate=Batch_RBF_Neural_Network(train_data,test_data,hidden_layers,Wkj,c,sigma,theta,eta)
%-------------------------------------------------------------------
%Batch RBF neural network function with only one output neutron
%Inputs:
%train_data     -train data(including samples and its target output)
%test_data      -test data(including samples and its target output)
%hidden_layers  -numbers of hidden layers
%Wkj            -weights between hidden layer and putput layer
%c              -array of center points
%sigma          -standard deviation of Gaussian function
%theta          -threhold of delta target function
%eta            -learnning rate
%Output:
%correct_rate:  -classification correct rate of the test data
%-------------------------------------------------------------------
[rows,cols]=size(train_data);
train_input=train_data(1:rows-1,:);
train_target=train_data(rows,:);
test_input=test_data(1:rows-1,:);
test_target=test_data(rows,:);
%batch rbf algorithm
r=0;   %initialize the episode
J=zeros(1,1000); %initialize the error function
while(1)     %outer loop
    r=r+1;m=0;DELTA_Wkj=zeros(1,hidden_layers);DELTA_c=zeros(hidden_layers,size(train_input,1));  
    DELTA_sigma=zeros(1,hidden_layers);%initialization
    while(1)    %inner loop
        m=m+1; 
        yj=zeros(1,hidden_layers);
        for j=1:hidden_layers
            %calculate the output of the hidden layer
            yj(1,j)=exp(-sum((train_input(:,m)'-c(j,:)).*(train_input(:,m)'-c(j,:)))/(2*sigma(1,j)^2));  
        end
        zk=sum(yj(1,:).*Wkj(1,:));  %output of the output layer
        error=train_target(1,m)-zk;
        J(1,r)=J(1,r)+error^2/2;   %accumulate every error
        for j=1:hidden_layers
            %update the DELTA_Wkj,DELTA_c and DELTA_sigma
            DELTA_Wkj(1,j)=DELTA_Wkj(1,j)+eta*error*yj(1,j);  
            DELTA_c(j,:)=DELTA_c(j,:)+eta*error*Wkj(1,j)*yj(1,j)*(train_input(:,m)'-c(j,:))/sigma(1,j)^2;
            DELTA_sigma(1,j)=DELTA_sigma(1,j)+eta*error*Wkj(1,j)*yj(1,j)* ...
            sum((train_input(:,m)'-c(j,:)).*(train_input(:,m)'-c(j,:)))/sigma(1,j)^3;
        end
        if(m==cols)  %all samples has been trained(one episode)
            break;   %back to outer loop
        end
    end    %end inner loop
    for j=1:hidden_layers
        Wkj(1,j)=Wkj(1,j)+DELTA_Wkj(1,j);   %update Wkj
        c(j,:)=c(j,:)+DELTA_c(j,:);   %update c
        sigma(1,j)=sigma(1,j)+DELTA_sigma(1,j);  %update sigma
    end
    J(1,r)=J(1,r)/cols;
    if((r>=2)&&abs(J(1,r)-J(1,r-1))<theta)  %determine when to stop
        %disp('ok!');disp(r);
        %plot(0:r-1,J(1,1:r));hold on;

        %start to test the model 
        correct=0;
        for i=1:size(test_input,2)
            test_yj=zeros(1,hidden_layers);
            for j=1:hidden_layers
                test_yj(1,j)=exp(-sum((test_input(:,i)'-c(j,:)).*(test_input(:,i)'-c(j,:)))/(2*sigma(1,j)^2));
            end
            test_zk=sum(test_yj(1,:).*Wkj(1,:));  
            if((test_zk>0&&test_target(1,i)==1)||(test_zk<0&&test_target(1,i)==-1))
                correct=correct+1;
            end
        end
        correct_rate=correct/size(test_data,2);
        break;
    end
end

（2）主函式：

clear;
load sample_ex6.mat;
[M,N]=size(data);
hidden_layers=10;
theta=0.01;
eta=0.01;
wkj=-1/(hidden_layers^0.5)+2/(hidden_layers^0.5)*rand(1,hidden_layers);
sigma=zeros(1,hidden_layers);
for i=1:hidden_layers
    sigma(1,i)=2+2*rand();   %initialize sigma to 2.0-4.0
end
%input data normalization
% [norm_data,norm_dataps]=mapminmax(data);

%10-fold crossing validation
sub_N=N/10;
rates=zeros(1,10);
for i=1:10
    testdata=data(:,1:sub_N);  %set the first part as testdata 
    traindata=data(:,sub_N+1:N);   %set the next nine part as traindata
    center_points=zeros(hidden_layers,M-1);
    for j=1:10
        %random initialize center points in train data
        center_points(j,:)=traindata(1:2,ceil(rand()*size(traindata,2)))';
    end
    rates(1,i)=Batch_RBF_Neural_Network(traindata,testdata,hidden_layers,wkj,center_points,sigma,theta,eta);
    data=[traindata,testdata];
end
disp('the accuracy of ten validation:')
disp(rates);disp('the average accuracy is:')
ave_rate=sum(rates)/10;
disp(ave_rate);

實驗結果：

幾次實驗結果如下：

由以上結果可以看到，RBF神經網路能得到較高的分類準確率，在96%左右波動，並且觀察10次的準確率，發現有的準確率能到100%，而有的還不到90%，浮動較大，但平均能到96%。

10次驗證總的執行時間比BP網路短：

討論完BP神經網路和RBF神經網路，他們的分類準確率到底如何，接下來我們用SVM來對比一下。

可以在matlab安裝LIBSVM，也可以使用matlab自帶的分類學習工具箱（Classification Learner），為了方便，直接使用matlab工具箱中的SVM。

Classification Learner的使用方法參考博文：Matlab自帶的分類學習工具箱

進入Classification Learner，顯示原始資料：

點選classifier中的下拉箭頭，選擇svm分類器，點選train，開始訓練，結果如下：

圖中顯示了6個SVM分類器的分類結果，準確率最低為Coarse Gaussian SVM的90.9%，而Cubic Gaussian SVM、Fine Gaussian SVM和Medium Gaussian SVM的準確率均為100%，能將測試樣本完全分開。並且，Linear SVM的準確率達到91.1%，也就是說畫條線作為分界的準確率都跟BP網路差不多，所以說本次實驗得到的BP網路的準確率並不高。

下表列出了本實驗三種模型準確率：

總結：

　　神經網路的訓練前，需要初始化各類引數，這些引數的初始值對網路的效能、收斂速度等都有影響，初始化應該有明確的方向而不是盲目初始化。當然，最佳的引數值需要根據實驗結果進行調整。
　　BP神經網路和RBF網路都能用來訓練分類資料，但它們的網路結構、訓練演算法、網路資源的利用及逼近效能等方面均有差異，RBF神經網路可以根據具體問題確定相應的網路拓撲結構，具有自學習、自組織、自適應功能，它對非線性連續函式具有一致逼近性，學習速度快，比BP網路有更強的生命力。
　　SVM考慮尋找一個滿足分類要求的超平面,並且使訓練集中的點距離分類面儘可能的遠。在本實驗中，使用高斯函式為核函式的SVM取得的效果最好。