Perceptron Learning Algorithm

感知機學習演算法，在1943年被生物學家MeCulloch和數學家Pitts提出以後，面臨一個問題：引數需要依靠人工經驗選定，十分麻煩。因此人們希望找到一種能夠自己選定引數的方法。1957年，Frank Rosenblatt提出了Perceptron，是一種人工網路模型，並在這個基礎上，提出了Perceptron學習演算法，用於自動選定引數。




這裡思考一個問題：為什麼這個更新法則會成功收斂到正確的權值呢？在卡內基梅隆大學編寫的《機器學習》中有提及這個問題。大致意思如下

為了得到直觀的感覺，考慮一些特例。假定訓練樣本已經被感知器正確分類。這時，(

Tj−Yj)是0，這使得ΔWij為0，所以權值沒有修改。而如果當目標輸出是+1時，感知器輸出一個0，這種情況下為使感知器輸出一個+1而不是0，權值必須被修改以增大WX的值。例如，如果Xi>0，那麼增大Wij會使得感知器更接近正確分類的例項。注意，這種情況下訓練法則會增長Wij，因為(T_j-Y_j)、η和Xi都是正。例如，如果Xi=0.8，η=0.1，TJ=1且Yj=−1，那麼權更新就是ΔWij=η(Tj−Yj)=0.16。另一方面，如果Tj=−1而Yj=1，那麼和正的Xi關聯的權值會減小而不是增大。同理當Xi<0時，也有上面的收斂的性質。
事實上可以證明，在有限次地使用感知器訓練法則後，上面的訓練過程會收斂到一個能正確分類所有訓練樣例的權向量。前提是訓練樣例線性可分

，並使用了一個充分小的η（參加Minskey & Papert 19691）

需要注意的是，這個模型只能用於線性可分的資料，對於非線性可分的資料，上述的學習演算法將無限迴圈。

MATLAB 實現

原理很簡單，程式碼實現起來也不難。我們直接上程式碼
需要說明的是，我們的資料集，包括兩個部分：資料和標籤。Perceptron.m中的X，大致應該長這樣:

Perceptron.m

function [ w, t ] = Perceptron( X, f, step, init_w, init_t )
 

%PRO Summary of this function goes here
%   X: data set with label
%   f: active function
%   step: step size
%   init_w:
%   init_t:
    if nargin < 5
       init_t = 0;
    end

    if nargin < 4
        init_w = [];
        init_t = 0;
    end

    if nargin < 3
        step = 0.1;
        init_w = [];
        init_t = 0;
    end


    label = X(:,end);
    data = X(:,1:end-1);

    [n_data,n_fea] = size(data);

    n_w = size(init_w);
    if n_w ~= n_fea
       init_w = ones(n_fea,1);
       n_w = n_fea;
    end
    w = init_w;
    t = init_t;
    while true
        result = f(data*w - t);
        result = label-result;
        index = find(result ~= 0);
        n_index = numel(index);
        if n_index == 0
            break
        end
        for i=1:n_index
           dis = result(index(i));
           for j=1:n_w
              w(j) = w(j) + step*dis*data(index(i),j);
           end
           t = t - step*dis;
        end
    end
end

demo.m 對Perceptron函式進行了簡單的測試

clc;

c1 = [1 1];
c2 = [5 7];

n_L1 = 50; % number of item with label 1 
n_L2 = 20; % number of item with label 2

A = zeros(n_L1,3);
A(:,3) = 1;
B = zeros(n_L2,3);
B(:,3) = 0;

% create random point
for i=1:n_L1
    A(i,1:2) = c1 + rand(1,2);
end
for i=1:n_L2
    B(i,1:2) = c2 + rand(1,2);
end

%%
% show points
scatter(A(:,1), A(:,2),[],'r');
hold on
scatter(B(:,1), B(:,2),[],'g');

%%
% do perceptron
X = [A;B];
%X = [0 0 0;0 1 1;1 0 1;1 1 1];
[w, t] = Perceptron(X,@threshhold_func)

%%
% plot the result
A = w(1);
B = w(2);
C = -t;
if B==0
    %生成100個-C/A放在向量x中.
    x=linspace(-C/A,-C/A,100);
    %從-A)-(|A|+|B|+|C|)到|A|+|B|+|C|等距離生成100個值放在向量y中.?
    y=linspace(-abs(A)-abs(B)-abs(C),abs(A)+abs(B)+abs(C),100);
else
    %x從-A)-(|A|+|B|+|C|)到|A|+|B|+|C|,取步長為0.01.
    x=-abs(A)-abs(B)-abs(C):0.01:abs(A)+abs(B)+abs(C);
    y=(-A.*x-C)./B;
end
hold on
plot(x,y)

%%
% test
test_A = zeros(n_L1,3);
test_A(:,3) = 1;
test_B = zeros(n_L2,3);
test_B(:,3) = 0;
for i=1:n_L1
    test_A(i,1:2) = c1 + rand(1,2);
end
for i=1:n_L2
    test_B(i,1:2) = c2 + rand(1,2);
end
test_X = [test_A;test_B];
data = test_X(:,1:2);
label = test_X(:,end);
result = data*w - t;
index = find((label - result)~=0);
n_index = numel(index);
fprintf('正確率：%f\n', (n_index/(n_L1+n_L2)));

threshhold_func.m 閾值啟用函式

function [ r ] = threshhold_func( x, t )
%UNTITLED Summary of this function goes here
%   Detailed explanation goes here
    if nargin < 2
        t = 0;
    end
    r = zeros(numel(x),1);
    index = find(x > t);
    r(index) = 1;
end

最後，給出老師課件上的例子，可以自己試試看計算過程是不是一致的。

1. Minsky M L, Papert S. Perceptrons : an introduction to computational geometry[M]// Perceptrons: An Introduction to Computational Geometry. The MIT Press, 1969:3356-62. ↩