整合學習是通過訓練多個分類器，然後把這些分類器組合起來，以達到更好的預測效能。

Boosting

Boosting方法是一種用來提高弱分類演算法準確度的方法,這種方法通過構造一個預測函式系列,然後以一定的方式將他們組合成一個預測函式。
Adaboost
Adaboost中不同的子模型必須是序列訓練獲得的，每個新的子模型都是根據已訓練出的模型效能來進行訓練的
基本思想:

1.多輪訓練，多個分類器
2.每輪訓練增加錯誤分類樣本的權值，降低正確分類樣本的權值3.
3.降低錯誤率高的分類器的權值，增加正確率高的分類器的權值

Boosting主要關注降低偏差,因此Boosting能基於泛化效能相當弱的學習器構建出很強的整合.

Bagging

Bagging採用的是隨機有放回的選擇訓練資料然後構造分類器，最後組合。
隨機森林
隨機森林在Bagging的基礎上做了修改：
1.從樣本中用BootStrap 取樣了n個樣本。
2.從所有屬性中隨機選擇K個屬性，選擇最佳分割屬性作為結點建立CART決策樹。
3.重複上邊2步m次，即建立m棵CART決策樹。
4.這m棵CART樹形成隨機森林，通過投票表決結果屬於哪一類。