AdaBoost演算法原理及實現

AdaBoost演算法

輸入：訓練資料集 $T = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})}$ ，其中 $x_{i} \in X \subseteq R^{n}$ ， $y_{i} \in {- 1, + 1}$ ；弱學習演算法；
輸出：最終分類器 $G (x)$
（1）初始化訓練資料集的權值分佈。我們假設訓練資料集具有均勻的權值分佈，也就是說每個訓練樣本在基分類器的學習中作用相同。

D^{(1)} = (w_{1}^{(1)}, w_{2}^{(1)}, \dots, w_{N}^{(1)}), w_{i}^{(1)} = \frac{1}{N}, i = 1, 2, \dots, N

每個w的上標表示當前迭代次數，與D的下標保持一致；w的下標表示第幾個權值，與位置保持一致。
（2）對

m = 1, 2, \dots, M

（M表示迭代次數，每迭代一次產生一個基學習器，最終生成

M

個學習器）
（a）使用具有權值分佈

D_{m}

的訓練資料集學習，得到基分類器

G_{m} (x) : X \to {- 1, + 1}

（b）計算

G_{m} (x)

在訓練資料集上的分類誤差

e r r_{m} = P (G_{m} (x_{i}) \neq y_{i}) = \sum_{i = 1}^{N} w_{i}^{(m)} I (G_{m} (x_{i}) \neq y_{i})

這裡，

w_{i}^{(m)}

表示第

m

輪迭代中第

i

個例項的權值，

\sum_{i = 1}^{N} w_{i}^{(m)} = 1

。這說明

G_{m} (x)

在帶權重的訓練資料集上的分類誤差是被

G_{m} (x)

誤分類樣本的權值之和。
（c）計算

G_{m} (x)

的係數

α_{m}

α_{m} = \frac{1}{2} \ln \frac{1 - e r r_{m}}{e r r_{m}}

AdaBoost演算法原理及實現

AdaBoost演算法

AdaBoost演算法原理及實現

adaboost演算法原理及sklearn中使用辦法

資料結構和演算法 | 氣泡排序演算法原理及實現和優化

資料結構和演算法 | 簡單選擇排序演算法原理及實現

資料結構和演算法 | 插入排序演算法原理及實現和優化

排序演算法 | 希爾排序演算法原理及實現和優化

資料結構和演算法 | 歸併排序演算法原理及實現和優化

氣泡排序演算法原理及實現（超詳細）

K-means聚類的演算法原理及實現

快速排序演算法原理及實現（單軸快速排序、三向切分快速排序、雙軸快速排序）

層次聚類演算法原理及實現

眼底影象血管增強與分割--（2）Gabor濾波演算法原理及實現

MD5加密演算法原理及實現

八種排序演算法原理及實現

文字相似度-bm25演算法原理及實現

kmp演算法原理及實現

[機器學習]機器學習筆記整理08- SVM演算法原理及實現

Svm演算法原理及實現

[C++] MD5加密演算法原理及實現

寫程式學ML：Logistic迴歸演算法原理及實現（三）