組合模型

下面簡單的介紹下Bootstraping, Bagging, Boosting, AdaBoost, RandomForest 和Gradient boosting這些組合型演算法.

1.Bootstraping

Bootstraping: 名字來自成語“pull up by your own bootstraps”，意思就是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法，它是非引數統計中一種重要的估計統計量方差進而進行區間估計的統計方法。其核心思想和基本步驟如下：

（1）採用重抽樣技術從原始樣本中抽取一定數量（自己給定）的樣本，此過程允許重複抽樣。
（2）根據抽出的樣本計算給定的統計量T。
（3）重複上述N次（一般大於1000），得到N個統計量T。
（4）計算上述N個統計量T的樣本方差，得到統計量的方差。

應該說Bootstrap是現代統計學較為流行的一種統計方法，在小樣本時效果很好。通過方差的估計可以構造置信區間等，其運用範圍得到進一步延伸。

2.裝袋bagging

裝袋演算法相當於多個專家投票表決，對於多次測試，每個樣本返回的是多次預測結果較多的那個。

裝袋演算法描述

1
2
3
4
5
6
7
8
9
10

模型生成
 令n為訓練資料的例項數量
 對於t次迴圈中的每一次
       從訓練資料中取樣n個例項
     將學習應用於所取樣本
        儲存結果模型
分類
    對於t個模型的每一個
        使用模型對例項進行預測
   返回被預測次數最多的一個

bagging：bootstrap aggregating的縮寫。讓該學習演算法訓練多輪，每輪的訓練集由從初始的訓練集中隨機取出的n個訓練樣本組成，某個初始訓練樣本在某輪訓練集中可以出現多次或根本不出現，訓練之後可得到一個預測函式序列

最終的預測函式H對分類問題採用投票方式，對迴歸問題採用簡單平均方法對新示例進行判別。

[訓練R個分類器f_i，分類器之間其他相同就是引數不同。其中f_i是通過從訓練集合中(N篇文件)隨機取(取後放回)N次文件構成的訓練集合訓練得到的。對於新文件d，用這R個分類器去分類，得到的最多的那個類別作為d的最終類別。]

使用scikit-learn測試bagging方法

1
2
3
4

>>> from sklearn.ensemble import BaggingClassifier
>>> from sklearn.neighbors import KNeighborsClassifier
>>> bagging = BaggingClassifier(KNeighborsClassifier(),
...                             max_samples=0.5, max_features=0.5)

3.提升Boosting與Adaboost

提升演算法描述

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

模型生成
 賦予每個訓練例項相同的權值
 t次迴圈中的每一次：
        將學習演算法應用於加了權的資料集上並儲存結果模型
       計算模型在加了權的資料上的誤差e並儲存這個誤差
      結果e等於0或者大於等於0.5：
         終止模型
      對於資料集中的每個例項：
          如果模型將例項正確分類
               將例項的權值乘以e/(1-e)
     將所有的例項權重進行正常化
分類
 賦予所有類權重為0
 對於t（或小於t）個模型中的每一個：
        給模型預測的類加權 -log(e/(1-e))
    返回權重最高的類

這個模型提供了一種巧妙的方法生成一系列互補型的專家。

boosting: 其中主要的是AdaBoost（Adaptive boosting，自適應boosting）。初始化時對每一個訓練例賦相等的權重1／N，然後用該學演算法對訓練集訓練t輪，每次訓練後，對訓練失敗的訓練例賦以較大的權重，也就是讓學習演算法在後續的學習中集中對比較難的訓練例進行學習，從而得到一個預測函式序列h1,⋯,hm” role=”presentation” style=”position: relative;”>h1,⋯,hmh1,⋯,hm , 其中h_i也有一定的權重，預測效果好的預測函式權重較大，反之較小。最終的預測函式H對分類問題採用有權重的投票方式，對迴歸問題採用加權平均的方法對新示例進行判別。

提升演算法理想狀態是這些模型對於其他模型來說是一個補充，每個模型是這個領域的一個專家，而其他模型在這部分卻不能表現很好，就像執行官一樣要尋覓那些技能和經驗互補的顧問，而不是重複的。這與裝袋演算法有所區分。

Adaboost演算法描述

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

模型生成
 訓練資料中的每個樣本，並賦予一個權重，構成權重向量D，初始值為1/N
  t次迴圈中的每一次：
        在訓練資料上訓練弱分類器並計算分類器的錯誤率e
      如果e等於0或者大於等於使用者指定的閾值：
         終止模型，break
       重新調整每個樣本的權重，其中alpha=0.5*ln((1-e)/e)
       對權重向量D進行更新，正確分類的樣本的權重降低而錯誤分類的樣本權重值升高
     對於資料集中的每個樣例：
          如果某個樣本正確分類：
               權重改為D^(t+1)_i = D^(t)_i * e^(-a)/Sum(D)
          如果某個樣本錯誤分類：
               權重改為D^(t+1)_i = D^(t)_i * e^(a)/Sum(D)
分類
   賦予所有類權重為0
 對於t（或小於t）個模型（基分類器）中的每一個：
      給模型預測的類加權 -log(e/(1-e))
    返回權重最高的類

（類似Bagging方法，但是訓練是序列進行的，第k個分類器訓練時關注對前k-1分類器中錯分的文件，即不是隨機取，而是加大取這些文件的概率。)

bagging與boosting的區別：

二者的主要區別是取樣方式不同。bagging採用均勻取樣，而Boosting根據錯誤率來取樣，因此boosting的分類精度要優於Bagging。bagging的訓練集的選擇是隨機的，各輪訓練集之間相互獨立，而boostlng的各輪訓練集的選擇與前面各輪的學習結果有關；bagging的各個預測函式沒有權重，而boosting是有權重的；bagging的各個預測函式可以並行生成，而boosting的各個預測函式只能順序生成。對於象神經網路這樣極為耗時的學習方法。bagging可通過並行訓練節省大量時間開銷。

bagging和boosting都可以有效地提高分類的準確性。在大多數資料集中，boosting的準確性比bagging高。在有些資料集中，boosting會引起退化—- Overfit。

Boosting思想的一種改進型AdaBoost方法在郵件過濾、文字分類方面都有很好的效能。

Gradient boosting（又叫Mart, Treenet)：Boosting是一種思想，Gradient Boosting是一種實現Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型損失函式的梯度下降方向。損失函式(loss function)描述的是模型的不靠譜程度，損失函式越大，則說明模型越容易出錯。如果我們的模型能夠讓損失函式持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函式在其梯度（Gradient)的方向上下降。

使用scikit-learn測試adaboost演算法

1
2
3
4
5
6
7
8

>>> from sklearn.cross_validation import cross_val_score
>>> from sklearn.datasets import load_iris
>>> from sklearn.ensemble import AdaBoostClassifier
>>> iris = load_iris()
>>> clf = AdaBoostClassifier(n_estimators=100)
>>> scores = cross_val_score(clf, iris.data, iris.target)
>>> scores.mean()                             
0.9...

4.Random Forest

Random Forest： 隨機森林，顧名思義，是用隨機的方式建立一個森林，森林裡面有很多的決策樹組成，隨機森林的每一棵決策樹之間是沒有關聯的。在得到森林之後，當有一個新的輸入樣本進入的時候，就讓森林中的每一棵決策樹分別進行一下判斷，看看這個樣本應該屬於哪一類（對於分類演算法），然後看看哪一類被選擇最多，就預測這個樣本為那一類。 在建立每一棵決策樹的過程中，有兩點需要注意——取樣與完全分裂。首先是兩個隨機取樣的過程，random forest對輸入的資料要進行行和列的取樣。對於行取樣，採用有放回的方式，也就是在取樣得到的樣本集合中，可能有重複的樣本。假設輸入樣本為N個，那麼取樣的樣本也為N個。這樣使得在訓練的時候，每一棵樹的輸入樣本都不是全部的樣本，使得相對不容易出現over-fitting。然後進行列取樣，從M個feature中，選擇m個(m << M)。之後就是對取樣之後的資料使用完全分裂的方式建立出決策樹，這樣決策樹的某一個葉子節點要麼是無法繼續分裂的，要麼裡面的所有樣本的都是指向的同一個分類。一般很多的決策樹演算法都一個重要的步驟——剪枝，但隨機森林不這樣做，由於之前的兩個隨機取樣的過程保證了隨機性，所以就算不剪枝，也不會出現over-fitting。 按這種演算法得到的隨機森林中的每一棵都是很弱的，但是大家組合起來就很厲害了。可以這樣比喻隨機森林演算法：每一棵決策樹就是一個精通於某一個窄領域的專家（因為我們從M個feature中選擇m讓每一棵決策樹進行學習），這樣在隨機森林中就有了很多個精通不同領域的專家，對一個新的問題（新的輸入資料），可以用不同的角度去看待它，最終由各個專家，投票得到結果。

Random forest與bagging的區別：

(1)Random forest是選與輸入樣本的數目相同多的次數（可能一個樣本會被選取多次，同時也會造成一些樣本不會被選取到），而bagging一般選取比輸入樣本的數目少的樣本；
(2)bagging是用全部特徵來得到分類器，而Random forest是需要從全部特徵中選取其中的一部分來訓練得到分類器； 一般Random forest效果比bagging效果好！

使用scikit-learn測試隨機森林演算法

1
2
3
4
5

>>> from sklearn.ensemble import RandomForestClassifier
>>> X = [[0, 0], [1, 1]]
>>> Y = [0, 1]
>>> clf = RandomForestClassifier(n_estimators=10)
>>> clf = clf.fit(X, Y)

5.Gradient boosting

梯度提升樹或者梯度提升迴歸樹(GBRT)是任意一個不同損失函式的泛化。GBRT是一個靈敏的並且高效程式，可以用在迴歸和分類中。梯度提升樹模型在許多領域中都有使用，如web搜尋排行榜和社會生態學中。它主要的思想是，每一次建立模型是在之前建立模型損失函式的梯度下降方向。這句話有一點拗口，損失函式(loss function)描述的是模型的不靠譜程度，損失函式越大，則說明模型越容易出錯（其實這裡有一個方差、偏差均衡的問題，但是這裡就假設損失函式越大，模型越容易出錯）。如果我們的模型能夠讓損失函式持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函式在其梯度（Gradient)的方向上下降。

GRBT的優勢：

• 混合資料型別的自然處理
• 預測力強
• 健壯的輸出空間

Boosting主要是一種思想，表示“知錯就改”。而Gradient Boosting是在這個思想下的一種函式（也可以說是模型）的優化的方法，首先將函式分解為可加的形式（其實所有的函式都是可加的，只是是否好放在這個框架中，以及最終的效果如何）。然後進行m次迭代，通過使得損失函式在梯度方向上減少，最終得到一個優秀的模型。值得一提的是，每次模型在梯度方向上的減少的部分，可以認為是一個“小”的或者“弱”的模型，最終我們會通過加權(也就是每次在梯度方向上下降的距離）的方式將這些“弱”的模型合併起來，形成一個更好的模型。