2. 程式人生 > >整合學習總結&Stacking利器（mlxtend庫）

整合學習總結&Stacking利器（mlxtend庫）

阿新 • • 發佈：2019-02-16

整合學習主要分為 bagging， boosting 和 stacking方法。本文主要是介紹stacking方法及其應用。但是在總結之前還是先回顧一下繼承學習。

這部分主要轉自知乎。

1. Bagging方法：

給定一個大小為n的訓練集 D，Bagging演算法從中均勻、有放回地選出 m個大小為 n’ 的子集Di，作為新的訓練集。在這 m個訓練集上使用分類、迴歸等演算法，則可得到 m個模型，再通過取平均值、取多數票等方法綜合產生預測結果，即可得到Bagging的結果。

（轉自知乎）

2. Boosting 方法

加入的過程中，通常根據它們的上一輪的分類準確率給予不同的權重。加和弱學習者之後，資料通常會被重新加權，來強化對之前分類錯誤資料點的分類，其中一個經典的提升演算法例子是AdaBoost。

（來自知乎）

3. Stacking 方法：

將訓練好的所有基模型對整個訓練集進行預測，第j個基模型對第i個訓練樣本的預測值將作為新的訓練集中第i個樣本的第j個特徵值，最後基於新的訓練集進行訓練。同理，預測的過程也要先經過所有基模型的預測形成新的測試集，最後再對測試集進行預測：


下面我們介紹一款功能強大的stacking利器，mlxtend庫，它可以很快地完成對sklearn模型地stacking。

主要有以下幾種使用方法吧：

I. 最基本的使用方法，即使用前面分類器產生的特徵輸出作為最後總的meta-classifier的輸入資料

[python] view plain copy
print?
  1. from sklearn import datasets  
  2. iris = datasets.load_iris()  
  3. X, y = iris.data[:, 1:3], iris.target  
  4. from sklearn import model_selection  
  5. from sklearn.linear_model import LogisticRegression  
  6. from sklearn.neighbors import KNeighborsClassifier  
  7. from sklearn.naive_bayes import GaussianNB   
  8. from sklearn.ensemble 
    import RandomForestClassifier  
  9. from mlxtend.classifier import StackingClassifier  
  10. import numpy as np  
  11. clf1 = KNeighborsClassifier(n_neighbors=1)  
  12. clf2 = RandomForestClassifier(random_state=1)  
  13. clf3 = GaussianNB()  
  14. lr = LogisticRegression()  
  15. sclf = StackingClassifier(classifiers=[clf1, clf2, clf3],   
  16.                           meta_classifier=lr)  
  17. print(‘3-fold cross validation:\n’)  
  18. for clf, label in zip([clf1, clf2, clf3, sclf],   
  19.                       [’KNN’,   
  20.                        ’Random Forest’,   
  21.                        ’Naive Bayes’,  
  22.                        ’StackingClassifier’]):  
  23.     scores = model_selection.cross_val_score(clf, X, y,   
  24.                                               cv=3, scoring=‘accuracy’)  
  25.     print(“Accuracy: %0.2f (+/- %0.2f) [%s]”
  26.           % (scores.mean(), scores.std(), label))  
from sklearn import datasets

iris = datasets.load_iris()
X, y = iris.data[:, 1:3], iris.target

from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB 
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import StackingClassifier
import numpy as np

clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3], 
                          meta_classifier=lr)

print('3-fold cross validation:\n')

for clf, label in zip([clf1, clf2, clf3, sclf], 
                      ['KNN', 
                       'Random Forest', 
                       'Naive Bayes',
                       'StackingClassifier']):

    scores = model_selection.cross_val_score(clf, X, y, 
                                              cv=3, scoring='accuracy')
    print("Accuracy: %0.2f (+/- %0.2f) [%s]" 
          % (scores.mean(), scores.std(), label))

II. 另一種使用第一層基本分類器產生的類別概率值作為meta-classfier的輸入，這種情況下需要將StackingClassifier的引數設定為 use_probas=True。如果將引數設定為 average_probas=True，那麼這些基分類器對每一個類別產生的概率值會被平均，否則會拼接。

   例如有兩個基分類器產生的概率輸出為：

classifier 1: [0.2, 0.5, 0.3]

classifier 2: [0.3, 0.4, 0.4]

   1) average = True : 

產生的meta-feature 為：[0.25, 0.45, 0.35]

   2) average = False:

產生的meta-feature為：[0.2, 0.5, 0.3, 0.3, 0.4, 0.4]

[python] view plain copy print?
  1. from sklearn import datasets  
  2. iris = datasets.load_iris()  
  3. X, y = iris.data[:, 1:3], iris.target  
  4. from sklearn import model_selection  
  5. from sklearn.linear_model import LogisticRegression  
  6. from sklearn.neighbors import KNeighborsClassifier  
  7. from sklearn.naive_bayes import GaussianNB   
  8. from sklearn.ensemble import RandomForestClassifier  
  9. from mlxtend.classifier import StackingClassifier  
  10. import numpy as np  
  11. clf1 = KNeighborsClassifier(n_neighbors=1)  
  12. clf2 = RandomForestClassifier(random_state=1)  
  13. clf3 = GaussianNB()  
  14. lr = LogisticRegression()  
  15. sclf = StackingClassifier(classifiers=[clf1, clf2, clf3],  
  16.                           use_probas=True,  
  17.                           average_probas=False,  
  18.                           meta_classifier=lr)  
  19. print(‘3-fold cross validation:\n’)  
  20. for clf, label in zip([clf1, clf2, clf3, sclf],   
  21.                       [’KNN’,   
  22.                        ’Random Forest’,   
  23.                        ’Naive Bayes’,  
  24.                        ’StackingClassifier’]):  
  25.     scores = model_selection.cross_val_score(clf, X, y,   
  26.                                               cv=3, scoring=‘accuracy’)  
  27.     print(“Accuracy: %0.2f (+/- %0.2f) [%s]”
  28.           % (scores.mean(), scores.std(), label))  
from sklearn import datasets

iris = datasets.load_iris()
X, y = iris.data[:, 1:3], iris.target

from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB 
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import StackingClassifier
import numpy as np

clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3],
                          use_probas=True,
                          average_probas=False,
                          meta_classifier=lr)

print('3-fold cross validation:\n')

for clf, label in zip([clf1, clf2, clf3, sclf], 
                      ['KNN', 
                       'Random Forest', 
                       'Naive Bayes',
                       'StackingClassifier']):

    scores = model_selection.cross_val_score(clf, X, y, 
                                              cv=3, scoring='accuracy')
    print("Accuracy: %0.2f (+/- %0.2f) [%s]" 
          % (scores.mean(), scores.std(), label))

III. 另外一種方法是對訓練基中的特徵維度進行操作的，這次不是給每一個基分類器全部的特徵，而是給不同的基分類器分不同的特徵，即比如基分類器1訓練前半部分特徵，基分類器2訓練後半部分特徵（可以通過sklearn 的pipelines 實現）。最終通過StackingClassifier組合起來。 [python] view plain copy print?
  1. from sklearn.datasets import load_iris  
  2. from mlxtend.classifier import StackingClassifier  
  3. from mlxtend.feature_selection import ColumnSelector  
  4. from sklearn.pipeline import make_pipeline  
  5. from sklearn.linear_model import LogisticRegression  
  6. iris = load_iris()  
  7. X = iris.data  
  8. y = iris.target  
  9. pipe1 = make_pipeline(ColumnSelector(cols=(0, 2)),  
  10.                       LogisticRegression())  
  11. pipe2 = make_pipeline(ColumnSelector(cols=(1, 2, 3)),  
  12.                       LogisticRegression())  
  13. sclf = StackingClassifier(classifiers=[pipe1, pipe2],   
  14.                           meta_classifier=LogisticRegression())  
  15. sclf.fit(X, y)  
from sklearn.datasets import load_iris
from mlxtend.classifier import StackingClassifier
from mlxtend.feature_selection import ColumnSelector
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LogisticRegression

iris = load_iris()
X = iris.data
y = iris.target

pipe1 = make_pipeline(ColumnSelector(cols=(0, 2)),
                      LogisticRegression())
pipe2 = make_pipeline(ColumnSelector(cols=(1, 2, 3)),
                      LogisticRegression())

sclf = StackingClassifier(classifiers=[pipe1, pipe2], 
                          meta_classifier=LogisticRegression())

sclf.fit(X, y)

StackingClassifier 使用API及引數解析：

StackingClassifier(classifiers, meta_classifier, use_probas=False, average_probas=False, verbose=0, use_features_in_secondary=False)

引數：

classifiers : 基分類器，陣列形式，[cl1, cl2, cl3]. 每個基分類器的屬性被儲存在類屬性 self.clfs_.
meta_classifier : 目標分類器，即將前面分類器合起來的分類器
use_probas : bool (default: False) ，如果設定為True， 那麼目標分類器的輸入就是前面分類輸出的類別概率值而不是類別標籤
average_probas : bool (default: False)，用來設定上一個引數當使用概率值輸出的時候是否使用平均值。
verbose : int, optional (default=0)。用來控制使用過程中的日誌輸出，當 verbose = 0時，什麼也不輸出， verbose = 1，輸出迴歸器的序號和名字。verbose = 2，輸出詳細的引數資訊。verbose > 2, 自動將verbose設定為小於2的，verbose -2.
use_features_in_secondary : bool (default: False). 如果設定為True，那麼最終的目標分類器就被基分類器產生的資料和最初的資料集同時訓練。如果設定為False，最終的分類器只會使用基分類器產生的資料訓練。

屬性：
clfs_ : 每個基分類器的屬性，list, shape 為 [n_classifiers]。
meta_clf_ : 最終目標分類器的屬性

方法：

fit(X, y)
fit_transform(X, y=None, fit_params)
get_params(deep=True)，如果是使用sklearn的GridSearch方法，那麼返回分類器的各項引數。
predict(X)
predict_proba(X)
score(X, y, sample_weight=None)， 對於給定資料集和給定label，返回評價accuracy
set_params(params)，設定分類器的引數，params的設定方法和sklearn的格式一樣

——————————————EOF———————————

參考文獻：

https://zhihu.com/question/29036379/answer/111637662

https://rasbt.github.io/mlxtend/user_guide/classifier/StackingClassifier/

https://zh.wikipedia.org/zh-hans/Bagging%E7%AE%97%E6%B3%95

Wolpert, David H. “Stacked generalization.” Neural networks 5.2 (1992): 241-259.

相關推薦

整合學習總結&Stacking利器（mlxtend庫）

整合學習主要分為 bagging， boosting 和 stacking方法。本文主要是介紹stacking方法及其應用。但是在總結之前還是先回顧一下繼承學習。 這部分主要轉自知乎。 1. Bagging方法： 給定一個大小為n的訓練集 D，Bagging演算法從中均勻、有放回地選出 m個大小為 n’

整合學習總結 & Stacking方法詳解

整合學習主要分為 bagging， boosting 和 stacking方法。本文主要是介紹stacking方法及其應用。但是在總結之前還是先回顧一下繼承學習。 這部分主要轉自知乎。 1. Bagging方法： 給定一個大小為n的訓練集 D，Bagging演算法從

python庫學習筆記（threading庫）

condition pre ctime IT 程序 rlock HR mov 實例 import threading threading模塊裏提供的類。 　　1.　　Thread：表示一個線程的執行的對象。 　　2.　　Lock：鎖原語對象 　　3.　　Rlock：可重入鎖

前端學習總結筆記——入門（一）

前端學習總結筆記 ——入門（一） 什麼是前端 狹義：使用HTML、CSS、JavaScript等專業技能和工具將產品UI設計稿實現成網路產品，涵蓋pc端、移動端網頁、處理視覺和互動問題。 廣義：所有使用者終端產品與視覺和互動有關的部分，都是前端工程師的專業領域。 前端需要了解的知識

【機器學習模型】整合學習總結

整合學習 一. 同質整合 1. Boosting 2. Bagging 3. Stacking 二. 異質整合 1. 平均法 2. 投票法 3. 學習法（Stacking）

機器學習資料預處理（sklearn庫系列函式）

【1】 sklearn.preprocessing.PolynomialFeatures PolynomialFeatures有三個引數 degree：控制多項式的度 interaction_

Python學習總結(三)——Function（函式）

 函式定義 def 函式名(): 函式體 return 返回值1, 返回值2        在Python中，函式有五大要點，分別是def、函式名、函式體、引數、返回值，以及兩個英文版符號，分別是括號（括號內為引數）和冒號（:）。 　　def：函式的關鍵

javaweb學習總結—jsp簡單標籤標籤庫開發

一、JspFragment類介紹　　javax.servlet.jsp.tagext.JspFragment類是在JSP2.0中定義的，它的例項物件代表JSP頁面中的一段符合JSP語法規範的JSP片段，這段JSP片段中不能包含JSP指令碼元素。　　WEB容器在處理簡單標籤的標

react學習總結2--基礎（二）

react 學習總結–基礎（二） 說明 React 版本 ：”15.4.1” react-tap-event-plugin 版本： “^2.0.1” 1.資料流 在 React 中，資料流的流向是單向的–從父節點傳遞到子節

spring+springMVC+mybatis三大框架整合學習總結

    之前就想弄一個基礎框架，用於學習和以後工作需要，現在有時間終於可以來玩一玩搭框架這個遊戲了。在搭建的過程中遇到了各種各樣的問題和報錯，一頭霧水，在網上查了好多資料，借鑑學習（http://blog.csdn.net/zhshulin/article/details/

深度學習筆記——Attention Model（注意力模型）學習總結

深度學習裡的Attention model其實模擬的是人腦的注意力模型，舉個例子來說，當我們觀賞一幅畫時，雖然我們可以看到整幅畫的全貌，但是在我們深入仔細地觀察時，其實眼睛聚焦的就只有很小的一塊，這個時候人的大腦主要關注在這一小塊圖案上，也就是說這個時候人腦對整幅圖的關注並

Spring學習5-Spring整合JDBC及其事務處理（註解方式）

  2、步驟二：使用JdbcTemplate類操作資料庫:     Spring把JDBC中重複的操作建立成了一個模板類：org.springframework.jdbc.core.JdbcTemplate。   A：要使用JdbcTemplate,需要為每一個DAO配置一個JdbcTemplate例項：  

系統學習機器學習之神經網路（十二） --人工神經網路總結

本來這篇還缺個RBM，但RBM在DBN中使用，暫時放在深度學習那裡。這裡看到一篇非常好的總結，儲存下來。 轉自：http://blog.csdn.net/fengbingchun/article/details/50274471 本文主要對人工神經網路基礎進行了描述，主要包

react學習總結1--基礎（一）

react 學習總結–基礎（一） 說明 React 版本 ：”15.4.1” react-tap-event-plugin 版本： “^2.0.1” 1.react 是什麼 React 是 Facebook 內部的一個Ja

asp.net學習總結——ADO.net（對Sql Server進行操作的資料訪問類）

ADO.net物件     System.Data.SqlClient（對Sql Server進行操作的資料訪問類）： 1)SqlConnection：資料庫聯結器2)SqlCommand：資料庫命名

Boosting學習總結及理解（2）

其他內容見上一篇博文。 GBDT（梯度提升決策樹）： GBDT屬於提升樹，所以也是決策樹的加法模型：                                                  ，其中表示第m顆樹對輸入資料 x 的預測值 如何來學習得到這個加法模

Cookie學習總結-登陸案例（記住使用者名稱和密碼）

LoginServlet.java package blank.servlet; import java.io.IOException; import javax.servlet.ServletException; import javax.servlet

C++學習之路（13）---std（標準庫）和STL（標準模板庫）的關係

C++標準庫的所有標頭檔案都沒有副檔名。C++標準庫的內容總共在50個標準標頭檔案中定義，其中18個提供了C庫的功能。 形式的標準標頭檔案【 例外】其內容與ISO標準C包含的name.h標頭檔案相同，但容納了C++擴充套件的功能。在 形式標準的標頭檔案中，與巨集

數據庫高級數據庫學習--上機練習5（Transact-SQL）

align 恢復 color print -s sele 數據庫技術 rdquo class 上機練習5 啟動SQL Server 2008中的 SQL Server Management Studio，恢復數據庫ClassDB； 采用Transact-SQL程序設計完成

整合學習總結

1 基本概念 整合學習的主要思路是先通過一定的規則生成多個學習器，再採用某種整合策略進行組合，最後綜合判斷輸出最終結果。一般而言，通常所說的整合學習中的多個學習器都是同質的"弱學習器"。基於該弱學習器，通過樣本集擾動、輸入特徵擾動、輸出表示擾動、演算法引數擾動等方式生成多個學習器，進行整