2. 程式人生 > >梯度提升樹（GBDT）理解

梯度提升樹（GBDT）理解

阿新 • • 發佈：2018-11-03

GBDT是整合學習方法Boosting中的一種，所以其中每個弱分類器都有先後順序，同時每個弱分類器都有其的權重。

GBDT的思想
在GBDT的迭代過程中，假如前一輪迭代得到的強分類器是 F m − 1

( x ) ,而其的損失函式為 L ( y , F
m − 1 ( x ) ) ,這是本輪的的迭代就是找一個CART迴歸樹模型（弱分類器） T ( x ; θ m ) ，讓本輪的損失 L （ y , F m − 1 + ρ m T ( x ; θ m ) ） 最小。簡單說，就是本輪要找個決策樹，使得已有的強分類器的損失變小。

“GBDT的核心”
Freidman提出用損失函式的負梯度來表示本輪損失的近似值，進而確定CART樹。

假如迭代到第M輪，這時損失函式的負梯度就可以表示為如下：

g m i = − [ ∂ L ( y i , F m ( x i ) ) ∂ F ( x i ) ] F ( x ) = F m − 1   ( x )
其中i=1，2···N表示樣本數。

這個負梯度就是本輪迭代的損失值，也就是我們優化CART樹的標籤。即有：

θ m = a r g m i n α , β ∑ i = 1 N [ g m i − β T m ( x i ; θ ) ] 2
這裡用 T m ( x ; θ ) 去擬合上面提到的“標籤”，而且使用了最小二乘法的擬合方法。

同時每個弱分類器都有其的權重，這裡我們可以理解成“步長”：

ρ m = a r g m i n ρ ∑ i = 1 N L ( y i , F m − 1 ( x i ) + ρ T ( x i , θ m ) )

最後迭代完這輪後，得到的強分類器 F m ( x ) = F m − 1 ( x ) + ρ m T ( x ; θ m )

相關推薦

梯度提升樹（GBDT）理解

GBDT是整合學習方法Boosting中的一種，所以其中每個弱分類器都有先後順序，同時每個弱分類器都有其的權重。 GBDT的思想 在GBDT的迭代過程中，假如前一輪迭代得到的強分類器是 Fm−1(x) F

機器學習筆記10-梯度提升樹（GBDT）

機器學習筆記10-梯度提升樹（GBDT） 在上一節中講到了整合學習的Boosting方法，並詳細解釋了其中的代表性演算法AdaBoost演算法。除了AdaBoost演算法外，Boosting中還有另一個非常常用的演算法：提升樹和梯度提升樹（GBDT）。 提升樹 提升樹是以分

GBDT梯度提升樹（一）

提升樹（例項） 已知訓練資料如上表所示，x的取值範圍為區間[0.5,10.5]，y的取值範圍為區間[5.0,10.0]，學習這個迴歸問題的提升樹模型，考慮只用樹樁作為基函式。 解   既然是一個提升樹,

機器學習sklearn19.0——整合學習——boosting與梯度提升演算法（GBDT）、Adaboost演算法

一、boosting演算法原理 二、梯度提升演算法 關於提升梯度演算法的詳細介紹，參照部落格：http://www.cnblogs.com/pinard/p/6140514.html 對該演算法的sklearn的類庫介紹和調參，參照網址：http://

梯度提升決策樹（GBDT）

綜述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和SV

【ML筆記】梯度提升決策樹（GBDT）和隨機森林（RF）的異同

GBDT和RF簡介 GBDT（Gradient Boosting Decision Tree） DT + Boosting = GBDT GBDT是一種boosting演算法。boosting工作機制：先從初始訓練集訓練處一個基學習器，然後在根據基學習器的表現對訓練樣本分佈

Spark-MLlib的快速使用之五（梯度提升樹GBT 迴歸）

（1）描述 　梯度提升樹（GBT）是決策樹的集合。 GBT迭代地訓練決策樹以便使損失函式最小化。 spark.ml實現支援GBT用於二進位制分類和迴歸，可以使用連續和分類特徵。 （2）測試資料 1 153:5 154:63 155:197 181:20 182:254 183:230 1

Spark-MLlib的快速使用之四（梯度提升樹GBT 分類）

（1）描述 　梯度提升樹（GBT）是決策樹的集合。 GBT迭代地訓練決策樹以便使損失函式最小化。 spark.ml實現支援GBT用於二進位制分類和迴歸，可以使用連續和分類特徵。 （2）測試資料 1 153:5 154:63 155:197 181:20 182:254 183:230 1

機器學習 - 提升樹（下）- XGBoost 以及與 GBDT 的比較

機器學習 - 提升樹（下）- XGBoost 以及與 GBDT 的比較 XGBoost（eXtreme Gradient Boost） 原理 預剪枝 與 GBDT 的比較

機器學習 - 提升樹（上）- BT、GBDT

機器學習 - 提升樹（上）- BT、GBDT BT（Boosting Tree） 介紹 原理 演算法過程 舉例 GBDT（Gradient Boosting De

梯度迭代樹（GBDT）演算法原理及Spark MLlib呼叫例項（Scala/Java/python）

梯度迭代樹 演算法簡介：         梯度提升樹是一種決策樹的整合演算法。它通過反覆迭代訓練決策樹來最小化損失函式。決策樹類似，梯度提升樹具有可處理類別特徵、易擴充套件到多分類問題、不需特徵縮放等性質。Spark.ml通過使用現有decision tree工具來實現。

機器學習（七）—Adaboost 和 梯度提升樹GBDT

獲得 決策樹 info gin 否則 它的 均方差 但是 ont 1、Adaboost算法原理，優缺點： 　　理論上任何學習器都可以用於Adaboost.但一般來說，使用最廣泛的Adaboost弱學習器是決策樹和神經網絡。對於決策樹，Adaboost分類用了CART分類樹，

GBDT梯度提升樹演算法原理小結（三）

首先我們回顧一下Gradient Boosting 的本質，就是訓練出，使損失函式最小，即 其求解步驟如下： 所以，我們首先得定義出損失函式，才能談求解的事情。接下來我們針對不同場景，介紹相應的損失函式。 迴歸 對於迴歸問題，定義好損失函式後，Gradient B

樹模型的一些理解（從決策樹到GBDT）

1.決策樹 基本流程： 整體是一個遞迴的過程，返回條件有三種： 當前結點中所有樣本的類別都為c，返回值為c; 當前結點中樣本集合為空，此時返回父結點中類別數最多的類。把父節點的樣本分佈作為先驗 當前結點中樣本的屬性集合為空，或者所有樣本屬性取值相同，將當前結點

機器學習演算法-梯度樹提升GTB（GBRT）

Introduction 決策樹這種演算法有著很多良好的特性，比如說訓練時間複雜度較低，預測的過程比較快速，模型容易展示（容易將得到的決策樹做成圖片展示出來）等。但是同時，單決策樹又有一些不好的地方，比如說容易over-fitting，雖然有一些方法，如剪

筆記︱決策樹族——梯度提升樹(GBDT）

每每以為攀得眾山小，可、每每又切實來到起點，大牛們，緩緩腳步來俺筆記葩分享一下吧，please~ ——————————————————————————— 本筆記來源於CDA DSC，L2-R語言課程所學進行的總結。 一、介紹：梯度提升樹（Gradie

GBDT(梯度提升樹)scikit-klearn中的引數說明及簡匯

1、GBDT（梯度提升樹）概述：  　GBDT是整合學習Boosting家族的成員，區別於Adaboosting。adaboosting是利用前一次迭代弱學習器的誤差率來更新訓練集的權重，在對更新權重後的訓練集繼續迭代訓練。GBDT也是迭代演算法，但是不同於Adaboosting，GBDT是進行一

tf.estimator API技術手冊（6）——BoostedTreesClassifier（提升樹分類器）

（一）簡 介 用於建立提升樹模型分類器，定義在tensorflow/python/estimator/canned/boosted_trees.py中，以下為使用示例： bucketized_fea

tf.estimator API技術手冊（7）——BoostedTreesRegressor（提升樹迴歸器）

（一）簡 介 用於建立提升樹模型分類器，定義在tensorflow/python/estimator/canned/boosted_trees.py中，以下為使用示例： bucketized_fea

梯度提升樹(GBDT)原理小結

　在整合學習之Adaboost演算法原理小結中，我們對Boosting家族的Adaboost演算法做了總結，本文就對Boosting家族中另一個重要的演算法梯度提升樹(Gradient Boosting Decison Tree, 以下簡稱GBDT)做一個總結。GBDT有很多簡稱，有GBT（Gradient