1.      Bagging

Bagging即套袋法，其演算法過程如下：

1. 從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping的方法抽取n個訓練樣本（在訓練集中，有些樣本可能被多次抽取到，而有些樣本可能一次都沒有被抽中）。共進行k輪抽取，得到k個訓練集。（k個訓練集之間是相互獨立的）

2. 每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。（注：這裡並沒有具體的分類演算法或迴歸方法，我們可以根據具體問題採用不同的分類或迴歸方法，如決策樹、感知器等）

3. 對分類問題：將上步得到的k個模型採用投票的方式得到分類結果；對迴歸問題，計算上述模型的均值作為最後的結果。（所有模型的重要性相同）

2.      演算法設計過程

1.    

2.    

2.1.    隨機取樣方法

樣本總數150條(Iris資料集)

抽樣方法是有放回隨機抽樣。對150個樣本的資料集，進行150次又放回隨機取樣，這樣得到具有和原樣本空間同等大小的樣本集。

這樣操作次，得到訓練樣本。33個用決策樹C50，34個樸素貝葉斯，33個用KNN。

2.2.    模型評價方法

2.2.1.  包外錯誤率

由抽樣方法可知，每次抽樣大約有

圖 1 包外錯誤率

2.2.2.  成對多樣性度量

a->兩個個體學習器對同一條資料(h1=h2=Class)，分類都與原資料集分類相同

b->兩個個體學習器對同一條資料(h1=class,h2!=Class)

c->兩個個體學習器對同一條資料(h1!=class,h2=Class)

d->兩個個體學習器對同一條資料(h1!=class,h2!=Class)，分類都與原資料集分類都不相同

       K統計量

           Q統計量

 相關係數

不一致度量

                             表1兩個分類器的分類結果組合情況

圖2 多樣性度量矩陣

2.3.    虛擬碼

3.      附錄

資料集簡介：

表2 iris

萼片長度

sepal width

萼片寬度

petal length

花瓣長度

petal width

花瓣寬度

Iris-setosa -> 1

Iris-versicolor -> 2

Iris-virginica-> 3

 感謝大家批評指正

原始碼(R)：https://github.com/arlenlee/dataMining