在上一篇部落格裡講到在matlab中使用libsvm識別手寫數字，識別精度不高，一是svm的引數沒有設定好，二是在提取影象特徵時，直接將影象展開為一行，沒有做任何處理，導致其訓練速度和識別精度都不夠好，本文采用pca演算法提取影象特徵，然後再用svm進行分類。
主要分為兩步：
1、pca特徵提取
pca主成份分析，主要用來進行人臉識別，具體原理介紹可以參考這篇部落格http://blog.codinglabs.org/articles/pca-tutorial.html ，提取pca特徵主要有以下幾個步驟：
（1）將影象歸一化到固定大小n*n，然後展開為1*n^2的一維向量，假設有m個樣本，則最終形成一個m*n^2的陣列，每一行代表一個樣本，本文所用的影象大小為28*28，樣本類別為10，每個類別訓練圖為500張，則每一張圖展開後就是一個1*756的一維向量，最終形成一個5000*756的陣列dm；
（2）求每一個列向量的均值avg，其大小為1*n^2；
（3）差值a=dm-avg；
（4）協方差b=a*a’；
（5）求協方差矩陣b的特徵值和特徵向量，取前k個最大特徵值及對應的特徵向量T；
（6）令c=a’*T，c的大小為n^2*k，向量c則為原始影象到投影空間的投影向量；
（7）投影向量p=dm*c為樣本的特徵向量，其大小為m*k，即將一個n*n大小的影象對映為一個1*k的向量，每一行代表一個樣本；
（8）將求得的投影向量p送到svm分類器中進行訓練；

識別的時候，只需要將待識別的影象d（1*n^2）先減去均值avg，再與投影向量c相乘，即將原始影象d投影到其主成份分量所在的投影空間中，然後用訓練好的svm模型進行識別。
matlab自帶pca的函式，可以直接呼叫，當然也可以自己實現pca，過程也比較簡單。

clear;clc;
% 訓練樣本數量10*500
train_count=10;
train_count_per_num=500;
% 能量
energy=90;
train_path_mask='F:\\MATLAB\\R2014a\\work\\libsvm-3.11\\data\\shouxie\\pca_svm\\train\\%01d\\%01d.bmp'
 
;
training_samples=[];
train_label=[];%訓練標籤

% img_size=10;% 歸一化影象大小
% 訓練，自帶的pca函式
tic
for i=0:train_count-1
    for j=1:train_count_per_num
        img=imread(sprintf(train_path_mask,i,j));
%         img=imresize(img,[img_size img_size]); % 歸一化
        if ndims(img)==3
            img=rgb2gray(img);
        end
 

        img=im2bw(img,5/255);
        training_samples=[training_samples;img(:)'];
    end    
    train_label(i*train_count_per_num+1:(i+1)*train_count_per_num)=ones(1,train_count_per_num)*i;
end
training_samples=double(training_samples);%一定要轉double
train_label=train_label';  %訓練的標籤
% mu=mean(training_samples); %訓練集中的平均值
[train_coeff,train_scores,~,~,train_explained,mu]=pca(training_samples); %pca
train_idx=find(cumsum(train_explained)>energy,1); %idx為前k個特徵向量,explained特徵值
train_coeff=train_coeff(:,1:train_idx); %投影向量
train_img_arr=train_scores(:,1:train_idx); %特徵向量，訓練的樣本集

%svm訓練
model = svmtrain(train_label, train_img_arr, '-s 0 -c 1.5 -t 0 -g 3'); 
save('shouxie_model','model'); %儲存svm模型
xlswrite('train_coeff.xlsx',train_coeff); %儲存特徵向量
xlswrite('mu.xlsx',mu); %儲存樣本平均值，單樣本進行測試的時候會用到

%使用訓練集資料進行測試
[train_predict_label, train_accuracy, train_dec_values] =svmpredict(train_label, train_img_arr, model); % test the trainingdata

%測試
test_path_mask='F:\\MATLAB\\R2014a\\work\\libsvm-3.11\\data\\shouxie\\pca_svm\\test\\%01d\\%01d.bmp';
test_count=10;
test_count_per_num=100;
test_samples=[];
test_label=[];
for i=0:test_count-1
    for j=1:test_count_per_num
        img=imread(sprintf(test_path_mask,i,j));
%         img=imresize(img,[img_size img_size]); % 歸一化
        if ndims(img)==3
            img=rgb2gray(img);
        end
        img=im2bw(img,5/255);
        test_samples=[test_samples;img(:)'];
    end    
    test_label(i*test_count_per_num+1:(i+1)*test_count_per_num)=ones(1,test_count_per_num)*i;
end
test_samples=double(test_samples);
test_label=test_label';
% test_img_arr=test_samples(:)-mu;
test_mu=repmat(mu,1000,1);
test_img_arr=test_samples-test_mu;
test_img_arr=test_img_arr*train_coeff; %測試集資料投影到投影向量上

%svm測試
[test_predict_label, test_accuracy, test_dec_values] =svmpredict(test_label, test_img_arr, model); 
toc

% test_img1=imread('F:\MATLAB\R2014a\work\libsvm-3.11\data\shouxie\pca_svm\test\0\10.bmp');
% % test_img1=imresize(test_img1,[img_size img_size]);
% test_img1=rgb2gray(test_img1);
% test_img1=im2bw(test_img1,5/255);
% test_img1=double(test_img1);
% test_img_arr1=test_img1(:)'-mu;
% test_img_arr=test_img_arr1*train_coeff;
% [predict_label, accuracy, dec_values] =svmpredict(1, test_img_arr, model); 

用訓練樣本進行測試的時候，Accuracy = 99.78% (4989/5000) ，用新的測試集時， Accuracy = 87.5% (875/1000)，比直接使用原始圖進行訓練高多了，當然，其精度還可以進一步提升。改變-s -c -t -g 等引數進行訓練時，可能會出現過擬合、欠擬合等情況，需要多次嘗試確定其合適的引數值大小。引數調優可以參照這篇部落格http://blog.csdn.net/chunxiao2008/article/details/50448154 ，感謝博主。