Fisher的原理

其實就是將所有的樣本投影到一個一維的線性空間，然後做分類。

第一步是求解最優的投影方向。

這部分是主程式碼1

%函式作用：根據訓練樣本求出投影方向
%引數說明：w1是第一類的樣本自變數，w2是第二類的樣本自變數
function wk=myfisher(w1,w2)  
[x1,y] = size(w1);  
[x2,~] = size(w2); 
u1=mean(w1);% wi類的樣本均值 
u2=mean(w2);

% 總類內散佈矩陣
s1 = zeros(y); 
s2 = zeros(y); 
for qt = 1:x1 
        s1 = s1 + (w1(qt,:) - u1)'*(w1(qt,:) - u1); 
end
for qt = 1:x2 
        s2 = s2 + (w2(qt,:) - u2)'
 
*(w2(qt,:) - u2); 
end
sw = s1 + s2;
%投影向量的計算公式,計算最優方向的直線 
wk = inv(sw) * (u1-u2)';% 最優方向的特徵向量 % 
wk = wk/sqrt(sum(wk.^2)); % 特徵向量單位化  

如果有需要，這部分是樣本的按照類別的劃分程式碼

%將訓練樣本按照yTrain01分為兩類w1，w2
a1=find(yTrain==0);
a2=find(yTrain);
w1=zeros(size(a1),10);
w2=zeros(size(a2),10);
for i=1:size(a1)
    w1(i,:)=XTrain(a1(i
 
),:);
end
for i=1:size(a2)
    w2(i,:)=XTrain(a2(i),:);
end
%將測試樣本按照yTest01分為兩類w3，w4
a3=find(yTest==0);
a4=find(yTest);
w3=zeros(size(a3),10);
w4=zeros(size(a4),10);
for i=1:size(a3)
    w3(i,:)=XTest(a3(i),:);
end
for i=1:size(a4)
    w4(i,:)=XTest(a4(i),:);
end

第二步是投影向量，然後再分類。

分類分為兩步：概率（概率密度）估計和決策。
分類就有很多思路了，這裡給的是用Parzen窗做非引數估計然後做貝葉斯決策。
決策常用最小錯誤率和最小風險的決策，其實本質上沒有什麼區別，只是判別的時候給先驗乘個係數。

貝葉斯的運用只需要知道，比較計算P(wi)P(x|wi)。原理就是貝葉斯公式，這裡不詳細講，有疑問可以留言

Parzen窗實現的核心程式碼：

 sigma = sig / sqrt(j);
 p(i,k) = p(i,k) + exp(-(x(k) - w1(j))*(x(k) - w1(j))'/ (2 * power(sigma,2))) / (sigma * sqrt(2*3.1415926));

Parzen窗分類

function ParzenClassify(y1,y2,y3,y4,Pro)
[~,x1] = size(y1);  %訓練樣本
[~,x2] = size(y2); 
[~,x3] = size(y3);  %測試樣本
[~,x4] = size(y4); 

%%
%正確分類的散點個數 
right1 = 0; right2 = 0; 
P3=Parzen(y1',y2',y3',1);
for t = 1:x3
    if (P3(1,t)*Pro >= P3(2,t)) %Pro是先驗比例
        right1 = right1 + 1; 
        plot(y3(t),2,'gp');hold on
    else
        plot(y3(t),2,'rp');hold on
    end
end
P4=Parzen(y1',y2',y4',1);
for t = 1:x4
    if (P4(1,t)*Pro <= P4(2,t)) %Pro是先驗比例
        right2 = right2 + 1; 
        plot(y4(t),3,'gp');hold on
    else
        plot(y4(t),3,'rp');hold on
    end
end
rightRate1 = right1 / x3; 
rightRate2 = right2 / x4; 
rightRate=(right1+right2)/(x3+x4);
disp(['使用最佳方向時第一類的錯分點個數為：',num2str(x3 - right1)]); 
disp(['使用最佳方向時第一類的分類準確率為：',num2str(rightRate1 * 100),'%']); 
disp(['使用最佳方向時第二類的錯分點個數為：',num2str(x4 - right2)]); 
disp(['使用最佳方向時第二類的分類準確率為：',num2str(rightRate2 * 100),'%']);
disp(['總分類準確率為：',num2str(rightRate * 100),'%']);

其實核心分類就只有P=Parzen(y1',y2',w,1);和if (P3(1,t)*Pro >= P3(2,t))...
其中W是輸入的自變數，P是得到的概率，比較屬於第一類的概率和第二類的概率然後分類。
注意乘上先驗和損失函式。