一、實驗目的和要求

目的：

瞭解線性分類器，對分類器的引數做一定的瞭解，理解引數設定對演算法的影響。

 

要求：

1. 產生兩類樣本

2. 採用線性分類器生成出兩類樣本的分類面

3. 對比線性分類器的效能，對比引數設定的結果

二、實驗環境、內容和方法

環境：windows 7，matlab R2010a

內容：通過實驗，對生成的實驗資料樣本進行分類。

 

三、實驗基本原理

感知器基本原理：

1.感知器的學習過程是不斷改變權向量的輸入，更新結構中的可變引數，最後實現在有限次迭代之後的收斂。感知器的基本模型結構如圖1所示：

圖1 感知器基本模型

其中，X輸入，Xi表示的是第i個輸入；Y表示輸出；W表示權向量；w0是閾值，f是一個階躍函式。

感知器實現樣本的線性分類主要過程是：特徵向量的元素x1，x2，……，xk是網路的輸入元素，每一個元素與相應的權wi相乘。，乘積相加後再與閾值w0相加，結果通過f函式執行啟用功能，f為系統的啟用函式。因為f是一個階躍函式，故當自變數小於0時，f= -1；當自變數大於0時，f= 1。這樣，根據輸出訊號Y，把相應的特徵向量分到為兩類。

然而，權向量w並不是一個已知的引數，故感知器演算法很重要的一個步驟即是尋找一個合理的決策超平面。故設這個超平面為w，滿足：

    

    （1）

引入一個代價函式，定義為：

        （2）

其中，Y是權向量w定義的超平面錯誤分類的訓練向量的子集。變數定義為：當時，= -1；當時，= +1。顯然，J(w)≥0。當代價函式J(w)達到最小值0時，所有的訓練向量分類都全部正確。為了計算代價函式的最小迭代值，可以採用梯度下降法設計迭代演算法，即：

        （3）

其中，w(n)是第n次迭代的權向量，

有多種取值方法，在本設計中採用固定非負值。由J(w)的定義，可以進一步簡化（3）得到：

        （4）

通過（4）來不斷更新w，這種演算法就稱為感知器演算法（perceptron algorithm）。可以證明，這種演算法在經過有限次迭代之後是收斂的，也就是說，根據（4）規則修正權向量w，可以讓所有的特徵向量都正確分類。

 

 

Fisher分類器原理：

Fisher線性判別分析的基本思想：通過尋找一個投影方向（線性變換，線性組合），將高維問題降低到一維問題來解決，並且要求變換後的一維資料具有如下性質：同類樣本儘可能聚集在一起，不同類的樣本儘可能地遠。

Fisher線性判別分析，就是通過給定的訓練資料，確定投影方向W和閾值y0，即確定線性判別函式，然後根據這個線性判別函式，對測試資料進行測試，得到測試資料的類別。

 

1．線性投影與Fisher準則函式

在兩類問題中，假定有個訓練樣本其中個樣本來自型別，個樣本來自型別，。兩個型別的訓練樣本分別構成訓練樣本的子集和。

令：， (4.5-1)

是向量通過變換得到的標量，它是一維的。實際上，對於給定的，就是判決函式的值。

由子集和的樣本對映後的兩個子集為和。因為我們關心的是的方向，可以令，那麼就是在方向上的投影。使和最容易區分開的方向正是區分超平面的法線方向。如下圖：

圖中畫出了直線的兩種選擇，圖(a)中，和還無法分開，而圖(b)的選擇可以使和區分開來。所以圖(b)的方向是一個好的選擇。

下面討論怎樣得到最佳方向的解析式。

各類在維特徵空間裡的樣本均值向量：

， (4.5-2)

通過變換對映到一維特徵空間後，各類的平均值為：

， (4.5-3)

對映後，各類樣本"類內離散度"定義為：

， (4.5-4)

顯然，我們希望在對映之後，兩類的平均值之間的距離越大越好，而各類的樣本類內離散度越小越好。因此，定義Fisher準則函式：

 (4.5-5)

使最大的解就是最佳解向量，也就是Fisher的線性判別式。

2．求解

從的表示式可知，它並非的顯函式，必須進一步變換。

已知：，, 依次代入(4.5-1)和(4.5-2)，有：

， (4.5-6)

所以：

 (4.5-7)

其中： (4.5-8)

是原維特徵空間裡的樣本類內離散度矩陣，表示兩類均值向量之間的離散度大小，因此，越大越容易區分。

將(4.5-6)和(4.5-2)代入(4.5-4)式中：

 (4.5-9)

其中：， (4.5-10)

因此： (4.5-11)

顯然： (4.5-12)

稱為原維特徵空間裡，樣本"類內離散度"矩陣。

是樣本"類內總離散度"矩陣。

為了便於分類，顯然越小越好，也就是越小越好。

將上述的所有推導結果代入表示式：

 —— 廣義Rayleigh商 (4.5-13)

式中和皆可由樣本集計算出。

用lagrange乘子法求解的極大值點。

令分母等於非零常數，也就是：。

定義lagrange函式：

 (4.5-14)

對求偏導數：

令得到：

 (4.5-15)

從上述推導(4.5-10)～(4.5-12)可知，是維特徵的樣本協方差矩陣，它是對稱的和半正定的。當樣本數目時，是非奇異的，也就是可求逆。

則： (4.5-16)

問題轉化為求一般矩陣的特徵值和特徵向量。令，則是的特徵根，是的特徵向量。

 (4.5-17)

式中：

是一個標量。所以總是在方向上。將(4.5-17)代入到(4.5-15)，可以得到：

其中，是一個比例因子，不影響的方向，可以刪除，從而得到最後解：

 (4.5-18)

就使取得最大值，可使樣本由維空間向一維空間對映，其投影方向最好。是一個Fisher線性判斷式。

討論：

如果，，則樣本線性不可分。

，未必線性可分。

不可逆，未必不可分。

3.Fisher演算法步驟

由Fisher線性判別式求解向量的步驟：

① 把來自兩類的訓練樣本集分成和兩個子集和。

② 由，，計算。

③ 由計算各類的類內離散度矩陣，。

④ 計算類內總離散度矩陣。

⑤ 計算的逆矩陣。

⑥ 由求解。

這一節所研究的問題針對確定性模式分類器的訓練，實際上，Fisher的線性判別式對於隨機模式也是適用的。

Fisher演算法註釋:

（1）Fisher方法可直接求解權向量；

（2）對線性不可分的情況，Fisher方法無法確定分類，Fisher可以進一步推廣到多類問題中去。

 

 

四、實驗過程描述

總結：

 

採用感知器演算法實現data1.m的資料分類流程如圖2所示：

圖2 單層感知器演算法程式流程

 

Fisher準則求得分類面的效能好壞一定程度上受樣本影響。有的時候Fisher可以完全正確分類，有的時候分類結果雖不是完全正確但尚可以接受，有的時候則很不理想。

 

五、實驗結果

感知器分類結果：

Fisher線性分類器分類結果：

六、附錄程式碼

單層感知分類器：

function Per1()

 

clear all;

close all;

 

%樣本初始化

x1(1,1)=5.1418; x1(1,2)=0.5950;

x1(2,1)=5.5519; x1(2,2)=3.5091;

x1(3,1)=5.3836; x1(3,2)=2.8033;

x1(4,1)=3.2419; x1(4,2)=3.7278;

x1(5,1)=4.4427; x1(5,2)=3.8981;

x1(6,1)=4.9111; x1(6,2)=2.8710;

x1(7,1)=2.9259; x1(7,2)=3.4879;

x1(8,1)=4.2018; x1(8,2)=2.4973;

x1(9,1)=4.7629; x1(9,2)=2.5163;

x1(10,1)=2.7118; x1(10,2)=2.4264;

x1(11,1)=3.0470; x1(11,2)=1.5699;

x1(12,1)=4.7782; x1(12,2)=3.3504;

x1(13,1)=3.9937; x1(13,2)=4.8529;

x1(14,1)=4.5245; x1(14,2)=2.1322;

x1(15,1)=5.3643; x1(15,2)=2.2477;

x1(16,1)=4.4820; x1(16,2)=4.0843;

x1(17,1)=3.2129; x1(17,2)=3.0592;

x1(18,1)=4.7520; x1(18,2)=5.3119;

x1(19,1)=3.8331; x1(19,2)=0.4484;

x1(20,1)=3.1838; x1(20,2)=1.4494;

x1(21,1)=6.0941; x1(21,2)=1.8544;

x1(22,1)=4.0802; x1(22,2)=6.2646;

x1(23,1)=3.0627; x1(23,2)=3.6474;

x1(24,1)=4.6357; x1(24,2)=2.3344;

x1(25,1)=5.6820; x1(25,2)=3.0450;

x1(26,1)=4.5936; x1(26,2)=2.5265;

x1(27,1)=4.7902; x1(27,2)=4.4668;

x1(28,1)=4.1053; x1(28,2)=3.0274;

x1(29,1)=3.8414; x1(29,2)=4.2269;

x1(30,1)=4.8709; x1(30,2)=4.0535;

x1(31,1)=3.8052; x1(31,2)=2.6531;

x1(32,1)=4.0755; x1(32,2)=2.8295;

x1(33,1)=3.4734; x1(33,2)=3.1919;

x1(34,1)=3.3145; x1(34,2)=1.8009;

x1(35,1)=3.7316; x1(35,2)=2.6421;

x1(36,1)=2.8117; x1(36,2)=2.8658;

x1(37,1)=4.2486; x1(37,2)=1.4651;

x1(38,1)=4.1025; x1(38,2)=4.4063;

x1(39,1)=3.9590; x1(39,2)=1.3024;

x1(40,1)=1.7524; x1(40,2)=1.9339;

x1(41,1)=3.4892; x1(41,2)=1.2457;

x1(42,1)=4.2492; x1(42,2)=4.5982;

x1(43,1)=4.3692; x1(43,2)=1.9794;

x1(44,1)=4.1792; x1(44,2)=0.4113;

x1(45,1)=3.9627; x1(45,2)=4.2198;

 

 

x2(1,1)=9.7302; x2(1,2)=5.5080;

x2(2,1)=8.8067; x2(2,2)=5.1319;

x2(3,1)=8.1664; x2(3,2)=5.2801;

x2(4,1)=6.9686; x2(4,2)=4.0172;

x2(5,1)=7.0973; x2(5,2)=4.0559;

x2(6,1)=9.4755; x2(6,2)=4.9869;

x2(7,1)=9.3809; x2(7,2)=5.3543;

x2(8,1)=7.2704; x2(8,2)=4.1053;

x2(9,1)=8.9674; x2(9,2)=5.8121;

x2(10,1)=8.2606; x2(10,2)=5.1095;

x2(11,1)=7.5518; x2(11,2)=7.7316;

x2(12,1)=7.0016; x2(12,2)=5.4111;

x2(13,1)=8.3442; x2(13,2)=3.6931;

x2(14,1)=5.8173; x2(14,2)=5.3838;

x2(15,1)=6.1123; x2(15,2)=5.4995;

x2(16,1)=10.4188; x2(16,2)=4.4892;

x2(17,1)=7.9136; x2(17,2)=5.2349;

x2(18,1)=11.1547; x2(18,2)=4.4022;

x2(19,1)=7.7080; x2(19,2)=5.0208;

x2(20,1)=8.2079; x2(20,2)=5.4194;

x2(21,1)=9.1078; x2(21,2)=6.1911;

x2(22,1)=7.7857; x2(22,2)=5.7712;

x2(23,1)=7.3740; x2(23,2)=2.3558;

x2(24,1)=9.7184; x2(24,2)=5.2854;

x2(25,1)=6.9559; x2(25,2)=5.8261;

x2(26,1)=8.9691; x2(26,2)=4.9919;

x2(27,1)=7.3872; x2(27,2)=5.8584;

x2(28,1)=8.8922; x2(28,2)=5.7748;

x2(29,1)=9.0175; x2(29,2)=6.3059;

x2(30,1)=7.0041; x2(30,2)=6.2315;

x2(31,1)=8.6396; x2(31,2)=5.9586;

x2(32,1)=9.2394; x2(32,2)=3.3455;

x2(33,1)=6.7376; x2(33,2)=4.0096;

x2(34,1)=8.4345; x2(34,2)=5.6852;

x2(35,1)=7.9559; x2(35,2)=4.0251;

x2(36,1)=6.5268; x2(36,2)=4.3933;

x2(37,1)=7.6699; x2(37,2)=5.6868;

x2(38,1)=7.8075; x2(38,2)=5.0200;

x2(39,1)=6.6997; x2(39,2)=6.0638;

x2(40,1)=5.6549; x2(40,2)=3.6590;

x2(41,1)=6.9086; x2(41,2)=5.4795;

x2(42,1)=7.9933; x2(42,2)=3.3660;

x2(43,1)=5.9318; x2(43,2)=3.5573;

x2(44,1)=9.5157; x2(44,2)=5.2938;

x2(45,1)=7.2795; x2(45,2)=4.8596;

x2(46,1)=5.5233; x2(46,2)=3.8697;

x2(47,1)=8.1331; x2(47,2)=4.7075;

x2(48,1)=9.7851; x2(48,2)=4.4175;

x2(49,1)=8.0636; x2(49,2)=4.1037;

x2(50,1)=8.1944; x2(50,2)=5.2486;

x2(51,1)=7.9677; x2(51,2)=3.5103;

x2(52,1)=8.2083; x2(52,2)=5.3135;

x2(53,1)=9.0586; x2(53,2)=2.9749;

x2(54,1)=8.2188; x2(54,2)=5.5290;

x2(55,1)=8.9064; x2(55,2)=5.3435;

 

 

for i=1:45 r1(i)=x1(i,1);end;

for i=1:45 r2(i)=x1(i,2);end;

for i=1:55 r3(i)=x2(i,1);end;

for i=1:55 r4(i)=x2(i,2);end;

 

figure(1);

%plot(r1,r2,'*',r3,r4,'o');

hold on;%保持當前的軸和影象不被重新整理，在該圖上接著繪製下一圖

 

plot(r1,r2,'ro',...

'LineWidth',1,...

'MarkerEdgeColor','k',...

'MarkerFaceColor',[1 0 0],...

'MarkerSize',7);

 

plot(r3,r4,'bo',...

'LineWidth',1,...

相關推薦