1、整合學習概述

1.1 整合學習概述

整合學習在機器學習演算法中具有較高的準去率，不足之處就是模型的訓練過程可能比較複雜，效率不是很高。目前接觸較多的整合學習主要有2種：基於Boosting的和基於Bagging，前者的代表演算法有Adaboost、GBDT、XGBOOST、後者的代表演算法主要是隨機森林。

1.2 整合學習的主要思想
整合學習的主要思想是利用一定的手段學習出多個分類器，而且這多個分類器要求是弱分類器，然後將多個分類器進行組合公共預測。核心思想就是如何訓練處多個弱分類器以及如何將這些弱分類器進行組合。

1.3、整合學習中弱分類器選擇
一般採用弱分類器的原因在於將誤差進行均衡，因為一旦某個分類器太強了就會造成後面的結果受其影響太大，嚴重的會導致後面的分類器無法進行分類。常用的弱分類器可以採用誤差率小於0.5的，比如說邏輯迴歸、SVM、神經網路。

1.4、多個分類器的生成
可以採用隨機選取資料進行分類器的訓練，也可以採用不斷的調整錯誤分類的訓練資料的權重生成新的分類器。

1.5、多個弱分類區如何組合
基本分類器之間的整合方式，一般有簡單多數投票、權重投票，貝葉斯投票，基於D-S證據理論的整合，基於不同的特徵子集的整合。

2、Boosting演算法

2.1 基本概念

Boosting方法是一種用來提高弱分類演算法準確度的方法,這種方法通過構造一個預測函式系列,然後以一定的方式將他們組合成一個預測函式。他是一種框架演算法,主要是通過對樣本集的操作獲得樣本子集,然後用弱分類演算法在樣本子集上訓練生成一系列的基分類器。他可以用來提高其他弱分類演算法的識別率,也就是將其他的弱分類演算法作為基分類演算法放於Boosting 框架中,通過Boosting框架對訓練樣本集的操作,得到不同的訓練樣本子集,用該樣本子集去訓練生成基分類器;每得到一個樣本集就用該基分類演算法在該樣本集上產生一個基分類器,這樣在給定訓練輪數 n 後,就可產生 n 個基分類器,然後Boosting框架演算法將這 n個基分類器進行加權融合,產生一個最後的結果分類器,在這 n個基分類器中,每個單個的分類器的識別率不一定很高,但他們聯合後的結果有很高的識別率,這樣便提高了該弱分類演算法的識別率。在產生單個的基分類器時可用相同的分類演算法,也可用不同的分類演算法,這些演算法一般是不穩定的弱分類演算法,如神經網路(BP) ,決策樹(C4.5)等。

2.2、Adaboost

Adaboost是boosting中較為代表的演算法，基本思想是通過訓練資料的分佈構造一個分類器，然後通過誤差率求出這個若弱分類器的權重，通過更新訓練資料的分佈，迭代進行，直到達到迭代次數或者損失函式小於某一閾值。

Adaboost的演算法流程：
假設訓練資料集為T={(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4),(X5,Y5)} 其中Yi={-1,1}

1、初始化訓練資料的分佈
訓練資料的權重分佈為D={W11,W12,W13,W14,W15},其中W1i=1/N。即平均分配。

2、選擇基本分類器
這裡選擇最簡單的線性分類器y=aX+b ，分類器選定之後，最小化分類誤差可以求得引數。

3、計算分類器的係數和更新資料權重
誤差率也可以求出來為e1.同時可以求出這個分類器的係數。基本的Adaboost給出的係數計算公式為
然後更新訓練資料的權重分佈，
（圖片來自李航的統計學習方法）

4、分類器的組合

當然這種組合方式基於分類器的係數的，而分類器的係數又是根據誤差率求出來的，所以Adaboots最後影響的就是如何使用誤差率，以及訓練資料更新權重的的計算係數。

5、Adaboost的一些問題

Adaboost中涉及到一些可以進行調整的引數和計算公式的選擇主要有以下幾點：

**弱分類器如何選擇
**如何更好的實驗誤差率計算分類器的係數
**如何更好的計算訓練資料的權重的分佈
**弱分類器如何進行組合
**迭代次數
**損失函式的閾值選取多少

3、Bagging演算法

bagging方法bootstrap aggregating的縮寫，採用的是隨機有放回的選擇訓練資料然後構造分類器，最後組合。這裡以隨機森林為例進行講解。
隨機森林演算法概述

隨機森林演算法是上世紀八十年代Breiman等人提出來的，其基本思想就是構造很多棵決策樹，形成一個森林，然後用這些決策樹共同決策輸出類別是什麼。隨機森林演算法及在構建單一決策樹的基礎上的，同時是單一決策樹演算法的延伸和改進。在整個隨機森林演算法的過程中，有兩個隨機過程，第一個就是輸入資料是隨機的從整體的訓練資料中選取一部分作為一棵決策樹的構建，而且是有放回的選取；第二個就是每棵決策樹的構建所需的特徵是從整體的特徵集隨機的選取的，這兩個隨機過程使得隨機森林很大程度上避免了過擬合現象的出現。

隨機森林演算法具體的過程：

1、從訓練資料中選取n個數據作為訓練資料輸入，一般情況下n是遠小於整體的訓練資料N的，這樣就會造成有一部分資料是無法被去到的，這部分資料稱為袋外資料，可以使用袋外資料做誤差估計。

2、選取了輸入的訓練資料的之後，需要構建決策樹，具體方法是每一個分裂結點從整體的特徵集M中選取m個特徵構建，一般情況下m遠小於M。

3、在構造每棵決策樹的過程中，按照選取最小的基尼指數進行分裂節點的選取進行決策樹的構建。決策樹的其他結點都採取相同的分裂規則進行構建，直到該節點的所有訓練樣例都屬於同一類或者達到樹的最大深度。

4、 重複第2步和第3步多次，每一次輸入資料對應一顆決策樹，這樣就得到了隨機森林，可以用來對預測資料進行決策。

5、 輸入的訓練資料選擇好了，多棵決策樹也構建好了，對待預測資料進行預測，比如說輸入一個待預測資料，然後多棵決策樹同時進行決策，最後採用多數投票的方式進行類別的決策。

隨機森林演算法圖示

隨機森林演算法的注意點：

1、 在構建決策樹的過程中是不需要剪枝的。
2、 整個森林的樹的數量和每棵樹的特徵需要人為進行設定。
3、 構建決策樹的時候分裂節點的選擇是依據最小基尼係數的。

隨機森林有很多的優點：

a. 在資料集上表現良好，兩個隨機性的引入，使得隨機森林不容易陷入過擬合。

b. 在當前的很多資料集上，相對其他演算法有著很大的優勢，兩個隨機性的引入，使得隨機森林具有很好的抗噪聲能力。

c. 它能夠處理很高維度（feature很多）的資料，並且不用做特徵選擇，對資料集的適應能力強：既能處理離散型資料，也能處理連續型資料，資料集無需規範化。

d. 在建立隨機森林的時候，對generlization error使用的是無偏估計。

e. 訓練速度快，可以得到變數重要性排序。

f. 在訓練過程中，能夠檢測到feature間的互相影響。

g 容易做成並行化方法。

h. 實現比較簡單。