2. 程式人生 > >機器學習系列--GBDT演算法總結與原始碼分析

機器學習系列--GBDT演算法總結與原始碼分析

阿新 • • 發佈：2019-01-28

最近在看Kaggle2014年的一個比賽–Display Advertising Challenge。三個臺灣人得了比賽的第一名，他們使用的是FFM演算法(這個後面再做總結)，在他們比賽的程式碼中，使用了GBDT演算法進行了特徵的處理。他們沒有使用scikit-learn中封裝好的演算法，而是自己手擼了一個GBDT的實現。下面就GBDT的一些原理和原始碼進行分析總結。

1. GBDT演算法總結

  梯度提升決策樹GBDT(Gradient Boosting Decision Tree)最早由Friedman文章“Greedy Function Approximation: A Gradient Boosting Machine”提出這個概念。GBDT中的樹用的是CART迴歸樹（不是分類樹），GBDT用來做 迴歸預測，調整後也可以用於分類。由於GBDT中的CART樹，在模型訓練的時候，需要逐個訓練樣本進行計算，模型的訓練時間相當之長。因此，這個也決定了GBDT不適合實時的線上訓練，更加適用於離散的場景。
  GBDT的思想使其具有天然優勢可以發現多種有區分性的特徵以及特徵組合。Facebook(Practical Lessons From Predicting Clicks on Ads at Facebook)使用其來自動發現有效的特徵、特徵組合，來作為LR模型中的特徵，以提高 CTR預估（Click-Through Rate Prediction）的準確性。GBDT在萬能的淘寶搜尋及預測業務上也發揮了重要作用。

1.1-Bagging和Boosting

  要想理解清楚GBDT，首先要明白Bagging和Boosting的區別與聯絡。Bagging和Boosting都是將已有的分類或迴歸演算法通過一定方式組合起來，形成一個性能更加強大的分類器，更準確的說這是一種分類演算法的組裝方法。即將弱分類器組裝成強分類器的方法。

Bagging即套袋法，其演算法過程如下：
A）從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping的方法抽取n個訓練樣本（在訓練集中，有些樣本可能被多次抽取到，而有些樣本可能一次都沒有被抽中）。共進行k輪抽取，得到k個訓練集。（k個訓練集之間是相互獨立的）
B）每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。（注：這裡並沒有具體的分類演算法或迴歸方法，我們可以根據具體問題採用不同的分類或迴歸方法，如決策樹、感知器等）
C）對分類問題：將上步得到的k個模型採用投票的方式得到分類結果；對迴歸問題，計算上述模型的均值作為最後的結果。（所有模型的重要性相同）

關於Boosting的兩個核心問題：
A）在每一輪如何改變訓練資料的權值或概率分佈？
通過提高那些在前一輪被弱分類器分錯樣例的權值，減小前一輪分對樣例的權值，來使得分類器對誤分的資料有較好的效果。
B）通過什麼方式來組合弱分類器？
通過加法模型將弱分類器進行線性組合，比如AdaBoost通過加權多數表決的方式，即增大錯誤率小的分類器的權值，同時減小錯誤率較大的分類器的權值。而提升樹通過擬合殘差的方式逐步減小殘差，將每一步生成的模型疊加得到最終模型。
  總的來說，Bagging的訓練樣本在每次訓練的時候，是通過抽樣採取；而Boosting的核心是每次訓練樣本都是一樣的，但是訓練時候的訓練樣本的權重不一樣。
1）Bagging + 決策樹 = 隨機森林
2）AdaBoost + 決策樹 = 提升樹
3）Gradient Boosting + 決策樹 = GBDT

1.2-CART迴歸樹

  在機器學習演算法中，決策樹的種類有很多。最早使用的是ID3演算法，之後又陸續的提出C4.5演算法和CART演算法，這是三個比較常用的決策樹演算法。ID3演算法十分簡單，核心是根據“最大資訊熵增益”原則選擇劃分當前資料集的最好特徵。ID3採用的資訊增益度量存在一個缺點，它一般會優先選擇有較多屬性值的Feature,因為屬性值多的Feature會有相對較大的資訊增益?(資訊增益反映的給定一個條件以後不確定性減少的程度,必然是分得越細的資料集確定性更高,也就是條件熵越小,資訊增益越大).為了避免這個不足C4.5中是用資訊增益比率(gain ratio)來作為選擇分支的準則。CART樹是二叉樹，既可以用於分類，也可以用於迴歸問題，最先由 Breiman 等提出，分類樹的輸出是樣本的類別， 迴歸樹的輸出是一個實數。GBDT中使用的是CART迴歸樹，這裡我們詳細分析一下回歸樹的演算法，其他演算法感興趣的同學可以檢視相關的文獻。

迴歸樹的生成
具體的推導過程可以參考李航博士的統計學習方法。這個演算法應該說是很easy的，稍做說明的就是輸出值選擇該節點樣本點的平均值可以通過求導輕鬆得到相應的結論。由於決策樹很容易產生過擬合的現象，在生成CART樹後，還需要進行剪枝操作，生成一系列的迴歸樹，之後通過交叉驗證，選擇效果相對較好的決策樹。
迴歸樹演算法描述

1.3-GBDT演算法

  有了前面的CART迴歸樹，就可以正式進入GBDT的演算法了。GBDT演算法是通過逐輪的迭代生成一系列的樹，最終的結果是這一系列的樹的加權求和。假設我們前一輪迭代得到的強學習器是Fm−1(x),損失函式是L(y,Fm−1(x))。我們本輪迭代的目標是找到一個CART迴歸樹模型的弱學習器h(x,am)(其中am是CART樹的引數)，使得L(y,Fm(x))=L(y,Fm−1(x)+h(x,am))最小，也就是說，本輪迭代找到決策樹，要讓樣本的損失儘量變得更小。
  GBDT的思想可以用一個通俗的例子解釋，假如有個人30歲，我們首先用20歲去擬合，發現損失有10歲，這時我們用6歲去擬合剩下的損失，發現差距還有4歲，第三輪我們用3歲擬合剩下的差距，差距就只有一歲了。如果我們的迭代輪數還沒有完，可以繼續迭代下面，每一輪迭代，擬合的歲數誤差都會減小。
  那麼現在的難點是在GBDT中如何去量我們每一輪的損失啊。大牛Freidman提出了用損失函式的負梯度來擬合本輪損失的近似值，進而擬合一個CART迴歸樹。
我自己的理解(一家之言，僅供參考)是可以從損失函式泰勒展開的角度來理解Freidman大牛的做法。將損失函式進行泰勒展開，得到如下結果：

L(y,Fm(x))=L(y,Fm−1(x)+h(x,am))=L(y,Fm−1(x))+∂L(y,Fm−1(x))∂Fm−1h(x,am)
要想保證等號左邊的取值小於等號的右邊，即∂L(y,Fm−1(x))∂Fm−1h(x,am)<0恆成立，又因為h(x,am)是將要計算的CART樹，這個是未知，只有梯度是已知的，因此不妨假設要擬合的CART樹就是梯度的負方向，即h(x,am)=−∂L(y,Fm−1(x))∂Fm−1這個就可以保證上面的等式恆成立。

GBDT中使用的損失函式是L(y,F)=log(1+exp(−2yF),y∈{−1,1},有關損失函式，可以參考新浪微博的趙志勇總結的機器學習中損失函式。GBDT中損失函式的梯度的負方向為：

yi~=rim=−[∂L(yi,F(xi)))∂F(xi)]F(x)=Fm−1(x)=2yi(1+exp(2yiFm−1(x)))
利用(xi,rim)(i=1,2,..N)，我們可以擬合一顆CART迴歸樹，得到了第m顆迴歸樹。其對應的葉節點區域γjm,j=1,2,...,J。其中J為葉子節點的個數。針對每一個葉子節點裡的樣本，我們求出使損失函式最小，也就是擬合葉子節點最好的的輸出值γjm如下：
γjm=

相關推薦

機器學習系列--GBDT演算法總結與原始碼分析

最近在看Kaggle2014年的一個比賽–Display Advertising Challenge。三個臺灣人得了比賽的第一名，他們使用的是FFM演算法(這個後面再做總結)，在他們比賽的程式碼中，使用了GBDT演算法進行了特徵的處理。他們沒有使用scikit-

機器學習系列文章：Apriori關聯規則分析演算法原理分析與程式碼實現

1.關聯規則淺談     關聯規則（Association Rules）是反映一個事物與其他事物之間的相互依存性和關聯性，如果兩個或多個事物之間存在一定的關聯關係，那麼，其中一個事物就能通過其他事物預測到。關聯規則是資料探勘的一個重要技術，用於從大量資料中挖掘出有價值的資料

OpenCV學習筆記（31）KAZE 演算法原理與原始碼分析（五）KAZE的原始碼優化及與SIFT的比較

  KAZE系列筆記： 1.  OpenCV學習筆記（27）KAZE 演算法原理與原始碼分析（一）非線性擴散濾波 2.  OpenCV學習筆記（28）KAZE 演算法原理與原始碼分析（二）非線性尺度空間構建 3.  Op

OpenCV學習筆記（30）KAZE 演算法原理與原始碼分析（四）KAZE特徵的效能分析與比較

      KAZE系列筆記： 1.  OpenCV學習筆記（27）KAZE 演算法原理與原始碼分析（一）非線性擴散濾波 2.  OpenCV學習筆記（28）KAZE 演算法原理與原始碼分析（二）非線性尺度空間構

機器學習——常用排序演算法總結

我們通常所說的排序演算法往往指的是內部排序演算法，即資料記錄在記憶體中進行排序。排序演算法大體可分為兩種： 一種是比較排序，時間複雜度O(nlogn) ~ O(n^2)，主要有：氣泡排序，選擇排序，插入排序，歸併排序，堆排序，快速排序等。 另一種是非比較排序，時間複雜度可以達到O(

機器學習實戰-基本演算法總結1

機器學習基本演算法總結 ☞監督學習——分類 程式碼在這，基於python3（原書程式碼是python2） 這裡只是一個總結，原書已經講解很清楚了，不清楚的直接看程式碼，或者李航的統計學習方法也有公式推導。 目錄1 =======

機器學習中常用演算法總結

參考：http://www.shuju.net/article/MDAwMDAyM4DM0.html 在垃圾郵件分類器專案中，隨機森林被用作最終的分類器模型。面試官可能會就此提出以下問題：為什麼選擇隨機森林而非其他模型，比如樸素貝葉斯或者支援向量機。一般來說，面試者可以從數

機器學習聚類演算法Kmeans與DBSCAN

自己對兩種聚類方法的一點理解。1. KMeans1.1 演算法概述Kmeans是一種劃分聚類的方法，基本K-Means演算法的思想很簡單，事先確定常數K，常數K意味著最終的聚類類別數，首先隨機選定初始點為質心，並通過計算每一個樣本與質心之間的相似度(這裡為歐式距離)，將樣本點

機器學習之基本演算法總結

機器學習方法越來越得到關注與學習，很多人在研讀機器學習相關文章和演算法時，對一些概念不慎明確，容易走進坑裡花費太多的時間才弄明白，有作者將一些並不是很簡單的基礎知識演算法做了一定的總結。本文在原博文的基礎上根據自己的閱讀和理解，做了一些補充，對概念和演算法的總結如下。

YOLO v1,YOLO v2,YOLO9000演算法總結與原始碼解析

1.YOLO v1簡介 YOLO出自2016 CVPR 《You Only Look Once:Unified, Real-Time Object Detection》。YOLO將目標區域定位於目標類別預測整合於單個神經網路模型中，實現了在準確率較高的情況下快

機器學習中優化演算法總結以及Python實現

機器學習演算法最終總是能轉化為最優化問題，習慣上會轉化為最小化問題。 個人總結迭代優化演算法關鍵就兩點： (1) 找到下降方向 (2) 確定下降步長 最速梯度下降演算法 梯度下降演算法是以最優化函式的梯度為下降方向，學習率η\etaη乘以梯度的模即為下降步長。更

機器學習-K-Means演算法（附原始碼）

定義     俗話說“物以類聚”，其實從廣義上說，聚類就是將資料集中在某些方面相似的資料成員放在一起。一個聚類就是一些資料例項的集合，其中處於相同聚類中的資料元素彼此相似，但是處於不同聚類中的元素彼此不同。由於在聚類中那些表示資料類別的分類或分組資訊是沒有的，即這些資料是沒

【機器學習系列】—大綱總結

機器學習是人工智慧的核心，主要分為有監督學習和無監督學習。那麼什麼叫有監督和無監督呢？是否有監督，主要看輸入的樣本資料集是否有目標變數。有監督學習是有明確的目標變數，而無監督學習，此類的資料沒有類別資訊，也不給定目標值。 這段時間主要學習了有監督學習，所以下面

SURF演算法原理與原始碼分析

如果說SIFT演算法中使用DOG對LOG進行了簡化，提高了搜尋特徵點的速度，那麼SURF演算法則是對DoH的簡化與近似。雖然SIFT演算法已經被認為是最有效的，也是最常用的特徵點提取的演算法，但如果不借助於硬體的加速和專用影象處理器的配合，SIFT演算法以現有的計算機仍然很難達到實時的程度。對於需要

機器學習系列1 PCA（主成分分析法）

1.PCA的應用    1.降維    2.去除資料相關性，對資料特徵進行抽取 2.主成分選擇原則   (1)主成分是原來變數的線性組合;   (2)各主成分之間互不相關;   (3)主成分分析的實質就是找到一個正交變換,即有正交陣U,使得一個?維向量    

Ceph 學習——OSD讀寫流程與原始碼分析（一）

直接上圖： 同樣當前最新的版本，和之前的版本有所不同，有一些模組簡化了，類的名字也改了。先介紹圖中涉及的相關的類，然後在對類中具體函式主要呼叫流程進行分析。 OSD 模組主要的類 盜圖：其中ReplicatedPG 在最新的版本中

系統學習機器學習之隨機場(四)--CRF++原始碼分析

1. 簡述     最近要應用CRF模型，進行序列識別。選用了CRF++工具包，具體來說是在VS2008的C#環境下，使用CRF++的windows版本。本文總結一下了解到的和CRF++工具包相關的資訊。     參考資料是CRF++的官方網站：CRF++: Yet

Java容器深入研究(jdk 1.8)--- ArrayList總結與原始碼分析

結構：public class ArrayList<E> extends AbstractList<E>   implements List<E>, RandomAccess, Cloneable, java.io.Serializabl

ArrayList和CopyOnWriteArrayList面試題總結與原始碼分析

面試題 （1）ArrayList和CopyOnWriteArrayList的增刪改查實現原理？ （2）為什麼說Arr

【機器學習】GBDT梯度提升演算法調參法總結II

對於GBDT的引數調整，上一篇已經通過例項講明，不過調整引數確實重要，繼續總結一下通用套路。 1、相關引數 GBDT演算法引數主要分為三個類別： 1.Tree-Specific Paramete