一、什麼是整合學習
整合學習在機器學習演算法中具有較高的準確率，不足的就是模型訓練比較複雜，效率不高。

Boosting主要有：Adaboost、GBDT、XGBoost
Bagging主要有：Random Forest

整合學習的思想：
整合學習的主要思想是構建出多個弱分類器，它們共同組合對任務進行預測。核心思想就是如何訓練多個弱分類以及如何將它們組合。

為什麼有提出整合學習呢？
假如沒有整合學習，那意味著在解決一任務時，我們必須訓練出一個強分類器，構建一個強分類器非常複雜與困難。但是構建弱分類器就非常簡單，所以有人提出通過一系列的弱分類器的共同作用來完成強分類器的作用

1、Bagging
在Bagging中，通過對訓練樣本的重新採用的方法得到不同的訓練樣本，在這些新的訓練樣本集上分別訓練分類器，最終合併每一個分類器的結果，作為最終的學習結構。具體過程如下圖所示。

在Bagging中，b個分類器是彼此相互獨立，並具有相同的權重，所以可以把Bagging的方法理解成並行的。

2、Boosting
在Boosting演算法中，各個分類器存在先後的順序，同時，每個樣本都有其的權重，初始時每個樣本的權重是相等的。
演算法流程：首先，第一個分類器對訓練樣本進行學習，當學習完成後，增大錯誤樣本的權重，同時減少正確樣本的權重，再利用第二個分類器對樣本集（其樣本權重以發生改變）進行學習，依次進行下去，最終得到b個學習器。同時，與Bagging不同，每一個分類器具有不同的權重。