通俗易懂的Adaboost演算法原理分析和例項+程式碼

阿新 • • 發佈：2018-11-04

【尊重原創，轉載請註明出處】 http://blog.csdn.net/guyuealian/article/details/70995333
本人最初瞭解AdaBoost演算法著實是花了幾天時間，才明白他的基本原理。也許是自己能力有限吧，很多資料也是看得懵懵懂懂。網上找了一下關於Adaboost演算法原理分析，大都是你複製我，我摘抄你，反正我也搞不清誰是原創。有些資料給出的Adaboost例項，要麼是沒有程式碼，要麼省略很多步驟，讓初學者很難看懂AdaBoost過程。
本部落格將會詳細介紹AdaBoost演算法過程，並給出了一個Adaboost例子的詳細求解過程，當然也給出了Matlab程式碼求解過程。礙於太多複雜公式，文章是在電腦Word文件寫好再複製上部落格的，為了排版好看，有些地方給出了截圖。
下面給出幾個我認為不錯的部落格資料：
【1】http://blog.csdn.net/v_july_v/article/details/40718799

感謝這位博主給出了 Adaboost 演算法的原理與推導，本文章很多地方都參考了他的內容
【2】http://blog.csdn.net/m0_37407756/article/details/67637400 該部落格有一個Adaboost 演算法的例子，但其過程簡略太多，初學者很難看懂。本文章的Adaboost 演算法例子也是與之相對應的，但本人給出了詳細的步驟和分析過程。話說，圖都是我一個一個畫上去，心疼我用了兩天時間！！

（1）鑑於很多網友評論留言說，為啥子第三次迭代時，“這個強分類器Hfinal對訓練樣本的錯誤率為0！”。這裡要說明一下，如果你只是用眼去看，而不假思索一下，你是絕逼看不出結果來的！！！要計算，公式就是： ${\color{Red} H_{final}=sign(f_{3}(x))}$

這個函式，其中是sign符號函式（大於0，返回1；小於0，則返回-1），把樣本點X代入公式計算就可以得到預測結果了

（2）為了照顧大家，我又重新繪製了表格，把每一步 $sign(f_{i}(x))$ 的預測結果顯示出來，詳見每一次迭代的表格的 $sign(f_{i}(x))$ 值

（3）附帶了Matlab原始碼，自己執行一下，就OK了

（4）這份部落格，花了我好大心血，記得點贊哈哈！

（5）娃哈哈~！

一、AdaBoost簡介

Boosting, 也稱為增強學習或提升法，是一種重要的整合學習技術，能夠將預測精度僅比隨機猜度略高的弱學習器增強為預測精度高的強學習器，這在直接構造強學習器非常困難的情況下，為學習演算法的設計提供了一種有效的新思路和新方法。其中最為成功應用的是，Yoav Freund和Robert Schapire在1995年提出的AdaBoost演算法。
AdaBoost是英文"Adaptive Boosting"（自適應增強）的縮寫，它的自適應在於：前一個基本分類器被錯誤分類的樣本的權值會增大，而正確分類的樣本的權值會減小，並再次用來訓練下一個基本分類器。同時，在每一輪迭代中，加入一個新的弱分類器，直到達到某個預定的足夠小的錯誤率或達到預先指定的最大迭代次數才確定最終的強分類器。
Adaboost演算法可以簡述為三個步驟：

（1）首先，是初始化訓練資料的權值分佈D1。假設有N個訓練樣本資料，則每一個訓練樣本最開始時，都被賦予相同的權值：w1=1/N。
（2）然後，訓練弱分類器hi。具體訓練過程中是：如果某個訓練樣本點，被弱分類器hi準確地分類，那麼在構造下一個訓練集中，它對應的權值要減小；相反，如果某個訓練樣本點被錯誤分類，那麼它的權值就應該增大。權值更新過的樣本集被用於訓練下一個分類器，整個訓練過程如此迭代地進行下去。
（3）最後，將各個訓練得到的弱分類器組合成一個強分類器。各個弱分類器的訓練過程結束後，加大分類誤差率小的弱分類器的權重，使其在最終的分類函式中起著較大的決定作用，而降低分類誤差率大的弱分類器的權重，使其在最終的分類函式中起著較小的決定作用。
換而言之，誤差率低的弱分類器在最終分類器中佔的權重較大，否則較小。

二、AdaBoost演算法過程

給定訓練資料集：，其中用於表示訓練樣本的類別標籤，i=1,...,N。Adaboost的目的就是從訓練資料中學習一系列弱分類器或基本分類器，然後將這些弱分類器組合成一個強分類器。

相關符號定義：

Adaboost的演算法流程如下：

相關說明：

綜合上面的推導，可得樣本分錯與分對時，其權值更新的公式為：

三、AdaBoost例項講解

例：給定如圖所示的訓練樣本，弱分類器採用平行於座標軸的直線，用Adaboost演算法的實現強分類過程。

資料分析：

將這10個樣本作為訓練資料，根據 X 和Y 的對應關係，可把這10個數據分為兩類，圖中用“+”表示類別1，用“O”表示類別-1。本例使用水平或者垂直的直線作為分類器，圖中已經給出了三個弱分類器，即：

初始化：

首先需要初始化訓練樣本資料的權值分佈，每一個訓練樣本最開始時都被賦予相同的權值：wi=1/N，這樣訓練樣本集的初始權值分佈D1(i)：

令每個權值w1i = 1/N = 0.1，其中，N = 10，i = 1,2, ..., 10，然後分別對於t= 1,2,3, ...等值進行迭代（t表示迭代次數，表示第t輪），下表已經給出訓練樣本的權值分佈情況：

第1次迭代t=1：

初試的權值分佈D1為1/N（10個數據，每個資料的權值皆初始化為0.1），

D1=[0.1, 0.1, 0.1, 0.1, 0.1, 0.1,0.1, 0.1, 0.1, 0.1]

在權值分佈D1的情況下，取已知的三個弱分類器h1、h2和h3中誤差率最小的分類器作為第1個基本分類器H1(x)（三個弱分類器的誤差率都是0.3，那就取第1個吧）

在分類器H1(x)=h1情況下，樣本點“5 7 8”被錯分，因此基本分類器H1(x)的誤差率為：

可見，被誤分類樣本的權值之和影響誤差率e，誤差率e影響基本分類器在最終分類器中所佔的權重α。

然後，更新訓練樣本資料的權值分佈，用於下一輪迭代，對於正確分類的訓練樣本“1 2 3 4 6 9 10”（共7個）的權值更新為：

這樣，第1輪迭代後，最後得到各個樣本資料新的權值分佈：

D2=[1/14,1/14,1/14,1/14,1/6,1/14,1/6,1/6,1/14,1/14]

由於樣本資料“5 7 8”被H1(x)分錯了，所以它們的權值由之前的0.1增大到1/6；反之，其它資料皆被分正確，所以它們的權值皆由之前的0.1減小到1/14，下表給出了權值分佈的變換情況：

可得分類函式：f1(x)= α1H1(x) = 0.4236H1(x)。此時，組合一個基本分類器sign(f1(x))作為強分類器在訓練資料集上有3個誤分類點（即5 7 8），此時強分類器的訓練錯誤為：0.3

第二次迭代t=2：

在權值分佈D2的情況下，再取三個弱分類器h1、h2和h3中誤差率最小的分類器作為第2個基本分類器H2(x)：
①　當取弱分類器h1=X1=2.5時，此時被錯分的樣本點為“5 7 8”：
誤差率e=1/6+1/6+1/6=3/6=1/2；
②　當取弱分類器h2=X1=8.5時，此時被錯分的樣本點為“3 4 6”：
誤差率e=1/14+1/14+1/14=3/14；
③　當取弱分類器h3=X2=6.5時，此時被錯分的樣本點為“1 2 9”：
誤差率e=1/14+1/14+1/14=3/14；

因此，取當前最小的分類器h2作為第2個基本分類器H2(x)

顯然，H2(x)把樣本“3 4 6”分錯了，根據D2可知它們的權值為D2(3)=1/14，D2(4)=1/14， D2(6)=1/14，所以H2(x)在訓練資料集上的誤差率：

這樣，第2輪迭代後，最後得到各個樣本資料新的權值分佈：

D3=[1/22,1/22,1/6,1/6,7/66,1/6,7/66,7/66,1/22,1/22]

下表給出了權值分佈的變換情況：

可得分類函式：f2(x)=0.4236H1(x) + 0.6496H2(x)。此時，組合兩個基本分類器sign(f2(x))作為強分類器在訓練資料集上有3個誤分類點（即3 4 6），此時強分類器的訓練錯誤為：0.3

第三次迭代t=3:

在權值分佈D3的情況下，再取三個弱分類器h1、h2和h3中誤差率最小的分類器作為第3個基本分類器H3(x)：
①　當取弱分類器h1=X1=2.5時，此時被錯分的樣本點為“5 7 8”：
誤差率e=7/66+7/66+7/66=7/22；
②　當取弱分類器h2=X1=8.5時，此時被錯分的樣本點為“3 4 6”：
誤差率e=1/6+1/6+1/6=1/2=0.5；
③　當取弱分類器h3=X2=6.5時，此時被錯分的樣本點為“1 2 9”：
誤差率e=1/22+1/22+1/22=3/22；

因此，取當前最小的分類器h3作為第3個基本分類器H3(x)：

這樣，第3輪迭代後，得到各個樣本資料新的權值分佈為：

D4=[1/6,1/6,11/114,11/114,7/114,11/114,7/114,7/114,1/6,1/38]

下表給出了權值分佈的變換情況：

可得分類函式：f3(x)=0.4236H1(x) + 0.6496H2(x)+0.9229H3(x)。此時，組合三個基本分類器sign(f3(x))作為強分類器，在訓練資料集上有0個誤分類點。至此，整個訓練過程結束。

整合所有分類器，可得最終的強分類器為：

這個強分類器Hfinal對訓練樣本的錯誤率為0！

本例Matlab程式碼，如下：

先建立Matlab函式檔案，定義h1,h2和h3三個弱分類器

function kind = wcH1( X,TH )

%h1弱分類器

X1=X(1);

X2=X(2);

if X1<TH

kind=1;

else

kind=-1;

end

end

function kind = wcH2( X,TH )

%h2弱分類器

X1=X(1);

X2=X(2);

if X1<TH

kind=1;

else

kind=-1;

end

end

function kind = wcH3( X,TH )

%h3弱分類器

X1=X(1);

X2=X(2);

if X2<TH

kind=-1;

else

kind=1;

end

end

主程式Matlab程式碼：

clc,clear all;

%% 訓練樣本資料

xData=[1 5;2 2;3 1;4 6;6 8;6 5;7 9;8 7;9 8;10 2] %樣本資料點，對應編號為1,2,...10

Y=[1 1 -1 -1 1 -1 1 1 -1 -1]'; %對應的樣本類別，用1和-1表示

xNum=1:10; %編號

format rat

%% 繪製樣本分佈圖

L1=find(Y==1);

x=xData(L1,1);y=xData(L1,2);

plot(x,y,'b+','LineWidth',3,'MarkerSize',12);

hold on;

L2=find(Y==-1);

x=xData(L2,1);y=xData(L2,2);

plot(x,y,'ro','LineWidth',3,'MarkerSize',12);

xlabel('X1');ylabel('X2');axis([0 10 0 10])

%% ***********************************初試過程************************************

H1=zeros(10,1);H2=H1;H3=H1

for i=1:10

X=xData(i,:);

H1(i) = wcH1( X,2.5 );%弱分類器h1

H2(i) = wcH2( X,8.5 );%弱分類器h2

H3(i) = wcH3( X,6.5 );%弱分類器h3

end

errDataH1=find(H1~=Y);%找到被h1錯分的樣本點的序號

errDataH2=find(H2~=Y);%找到被h2錯分的樣本點的序號

errDataH3=find(H3~=Y);%找到被h3錯分的樣本點的序號

accDataH1=find(H1==Y);%找到被h1正確分的樣本點的序號

accDataH2=find(H2==Y);%找到被h2正確分的樣本點的序號

accDataH3=find(H3==Y);%找到被h3正確分的樣本點的序號

errDataAll=[errDataH1,errDataH2,errDataH3];

accDataAll=[accDataH1,accDataH2,accDataH3];

N=10;

D1=zeros(10,1)+1/N % 初始化權值分佈

%% ***********************************第一次迭代***********************************

err1=sum(D1(errDataH1,:));%所有被錯分類的樣本點的權值之和即為誤差率

err2=sum(D1(errDataH2,:));%所有被錯分類的樣本點的權值之和即為誤差率

err3=sum(D1(errDataH3,:));%所有被錯分類的樣本點的權值之和即為誤差率

errAll=[err1,err2,err3];

[minErr,minIndex]=min(errAll);

%根據誤差率e1計算H1的係數：

a1=0.5*log((1-minErr)/minErr)

minErrData=errDataAll(:,minIndex);

minAccData=accDataAll(:,minIndex);

D2=D1;

for i=minAccData'

D2(i)=D2(i)/(2*(1-minErr));

end

for i=minErrData'

D2(i)=D2(i)/(2*minErr);

end

D2

%分類函式

f1=a1.*H1;

kindFinal=sign(f1)%此時強分類器的分類結果

%% ***********************************第二次迭代***********************************

err1=sum(D2(errDataH1,:));%所有被錯分類的樣本點的權值之和即為誤差率

err2=sum(D2(errDataH2,:));%所有被錯分類的樣本點的權值之和即為誤差率

err3=sum(D2(errDataH3,:));%所有被錯分類的樣本點的權值之和即為誤差率

errAll=[err1,err2,err3];

[minErr,minIndex]=min(errAll);

% 根據誤差率e2計算H2的係數：

a2=0.5*log((1-minErr)/minErr)

minErrData=errDataAll(:,minIndex);

minAccData=accDataAll(:,minIndex);

D3=D2;

for i=minAccData'

D3(i)=D3(i)/(2*(1-minErr));

end

for i=minErrData'

D3(i)=D3(i)/(2*minErr);

end

D3

% 分類函式

f2=a1.*H1+a2*H2;

kindFinal=sign(f2)%此時強分類器的分類結果

%% ***********************************第三次迭代***********************************

err1=sum(D3(errDataH1,:));%所有被錯分類的樣本點的權值之和即為誤差率

err2=sum(D3(errDataH2,:));%所有被錯分類的樣本點的權值之和即為誤差率

err3=sum(D3(errDataH3,:));%所有被錯分類的樣本點的權值之和即為誤差率

errAll=[err1,err2,err3];

[minErr,minIndex]=min(errAll);

% 根據誤差率e3計算G3的係數：

a3=0.5*log((1-minErr)/minErr)

minErrData=errDataAll(:,minIndex);

minAccData=accDataAll(:,minIndex);

D4=D3;

for i=minAccData'

D4(i)=D4(i)/(2*(1-minErr));

end

for i=minErrData'

D4(i)=D4(i)/(2*minErr);

end

D4

% 分類函式

f3=a1.*H1+a2*H2+a3*H3;

kindFinal=sign(f3)%此時強分類器的分類結果

%%

Adaboost演算法的某些特性是非常好的，這裡主要介紹Adaboost的兩個特性。（1）是訓練的錯誤率上界，隨著迭代次數的增加，會逐漸下降；（2）是Adaboost演算法即使訓練次數很多，也不會出現過擬合的問題。關於這兩方面的研究和分析，我建議各大網友，還是看看大神的部落格：http://blog.csdn.net/v_july_v/article/details/40718799

四、AdaBoost的優點和缺點

優點

（1）Adaboost提供一種框架，在框架內可以使用各種方法構建子分類器。可以使用簡單的弱分類器，不用對特徵進行篩選，也不存在過擬合的現象。

（2）Adaboost演算法不需要弱分類器的先驗知識，最後得到的強分類器的分類精度依賴於所有弱分類器。無論是應用於人造資料還是真實資料，Adaboost都能顯著的提高學習精度。

（3）Adaboost演算法不需要預先知道弱分類器的錯誤率上限，且最後得到的強分類器的分類精度依賴於所有弱分類器的分類精度，可以深挖分類器的能力。Adaboost可以根據弱分類器的反饋，自適應地調整假定的錯誤率，執行的效率高。

（4）Adaboost對同一個訓練樣本集訓練不同的弱分類器，按照一定的方法把這些弱分類器集合起來，構造一個分類能力很強的強分類器，即“三個臭皮匠賽過一個諸葛亮”。

缺點：

在Adaboost訓練過程中，Adaboost會使得難於分類樣本的權值呈指數增長，訓練將會過於偏向這類困難的樣本，導致Adaboost演算法易受噪聲干擾。此外，Adaboost依賴於弱分類器，而弱分類器的訓練時間往往很長。

通俗易懂的Adaboost演算法原理分析和例項+程式碼

通俗易懂的Adaboost演算法原理分析和例項+程式碼

Adaboost演算法原理分析和例項+程式碼（簡明易懂）

"漢諾塔"演算法-之通俗易懂,簡單的原理-java程式設計

整合學習值Adaboost演算法原理和程式碼小結(轉載)

Boost和AdaBoost演算法原理簡介

基於OAuth的統一認證原理解析和例項分析

通俗易懂的rpc原理

Java 多執行緒分段下載原理分析和實現

最通俗易懂的NIO原理解釋

最全的最通俗易懂的演算法——排序演算法【1】

程序管理Supervisor的原理分析和實戰練習

機器學習系列文章：Apriori關聯規則分析演算法原理分析與程式碼實現

adaboost演算法原理及sklearn中使用辦法

MySQL Order By實現原理分析和Filesort優化

Adaboost演算法原理詳解

【筆記】Spring 事務原理分析和原始碼剖析

通俗易懂的理解 Python3類和物件

歸併排序演算法原理分析與程式碼實現

通俗易懂--SVM演算法講解(演算法+案例)

kube-proxy 原理分析和技術演進

通俗易懂的Adaboost演算法原理分析和例項+程式碼

相關推薦