從決策樹到GBDT(Gradient Boosting Decision Tree)梯度提升決策樹和XGBoost的一些學習筆記

決策樹

決策樹可以轉換成if-then規則的集合，也可以看作是定義在特徵空間劃分類的條件概率分佈。決策樹學習演算法包括三部分：特徵選擇，數的生成和數的剪枝。最大優點: 可以自學習。在學習的過程中,不需要使用者瞭解過多背景知識,只需要對訓練例項進行較好的標註,就能夠進行學習。顯然,屬於有監督學習。
常用有一下三種演算法：

• ID3 — 資訊增益 最大的準則
• C4.5 — 資訊增益比 最大的準則
• CART(Classification and Regression tree, 分類與迴歸樹)
  迴歸樹: 平方誤差 最小 的準則
  分類樹: 基尼係數 最小的準則

迴歸樹 Regression Decision Tree

迴歸樹總體流程類似於分類樹，區別在於，迴歸樹的每一個節點都會得一個預測值。

使用平方誤差最小準則
訓練集為：D={(x1,y1), (x2,y2), …, (xn,yn)}。
輸出Y為連續變數，將輸入劃分為M個區域，分別為R1,R2,…,RM,每個區域的輸出值分別為：c1,c2,…,cm則迴歸樹模型可表示為：

f(x)=∑m=1McmI(x∈Rm)$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)$$
接下來可以使用平方誤差∑xi∈Rm(yi−f(xi))$\sum _{x_i\in Rm}(y_i-f(x_i))$來表示訓練資料的預測誤差，用最小平方誤差的準則來求解每個單元的最優輸出值。

c^m=ave(yi|xi∈Rm)$${\hat{c}}_m=ave(y_i|x_i\in R_m)$$
假如使用特徵j的取值s來將輸入空間劃分為兩個區域，分別為：
R1(j,s)={x|x(j)<=s}和R2(j,s)={x|x(j)>s}$$R_1(j,s)=\{x|x^{(j)}<=s\}和R_2(j,s)=\{x|x^{(j)}>s\}$$
選擇最優切分變數j與切分點s，求解
minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]$$\underset{j,s}{min}[\underset{c_1}{min}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{min}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
並可以得出

c^1=ave(yi|xi∈R1(j,s))$${\hat{c}}_1=ave(y_i|x_i\in R_1(j,s))$$
c^2=ave(yi|xi∈R2(j,s))$${\hat{c}}_2=ave(y_i|x_i\in R_2(j,s))$$

最小二叉迴歸樹生成演算法：

從以上可以歸納出在最小二叉迴歸樹生成演算法。訓練資料集所在的輸入空間中，遞迴地將每個區域劃分為兩個子區域並決定每個子區域上輸出值，構建二叉決策樹。
1. 選擇最優切分變數j與切分點s，求解

minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑

相關推薦

從決策樹到GBDT梯度提升決策樹和XGBoost

從決策樹到GBDT(Gradient Boosting Decision Tree)梯度提升決策樹和XGBoost的一些學習筆記 決策樹 決策樹可以轉換成if-then規則的集合，也可以看作是定義在特徵空間劃分類的條件概率分佈。決策樹學習演算法包括三部分

GBDT 梯度提升決策樹的簡單推導

GB, 梯度提升，通過進行M次迭代，每次迭代產生一個迴歸樹模型，我們需要讓每次迭代生成的模型對訓練集的損失函式最小，而如何讓損失函式越來越小呢？我們採用梯度下降的方法，在每次迭代時通過向損失函式的負梯

機器學習總結(四)——隨機森林與GBDT(梯度提升決策樹)

1. 隨機森林簡介 隨機森林採用的是bagging的思想，bagging即：通過在訓練樣本集中進行有放回的取樣得到多個取樣集，基於每個取樣集訓練出一個基學習器，再將基學習器結合起來共同實現分類或者回歸。隨機森林在對決策樹進行bagging的基礎上，

簡單易學的機器學習演算法——梯度提升決策樹GBDT

梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）演算法是近年來被提及比較多的一個演算法，這主要得益於其演算法的效能，以及該演算法在各類資料探勘以及機器學習比賽中的卓越表現，有很多人對GBDT演算法進行了開原始碼的開發，比較火的是陳

GBDT(Gradient boosting Decision Tree)梯度提升決策樹

參考資料 部落格1 GBDT演算法原理深入解析 這位大佬後面講了推導,讓我明白了這段話: Gradient Boosting是一種Boosting的方法，其與傳統的Boosting的區別是，每一次的計算是為了 **減少上一次的殘差(residual) **，而為了消除殘差，可以在殘差

梯度提升決策樹-GBDT（Gradient Boosting Decision Tree）

研究GBDT的背景是業務中使用到了該模型，用於做推薦場景，當然這裡就引出了GBDT的一個應用場景-迴歸，他的另外一個應用場景便是分類，接下來我會從以下幾個方面去學習和研究GBDT的相關知識，當然我也是學習者，只是把我理解到的整理出來。本文參考了網上

機器學習方法篇(9)------梯度提升決策樹GBDT

● 每週一言 生命在於運動，無論腦力還是體力。 導語 前面第3、4兩節介紹了決策樹，由於決策樹簡單有效，可解釋性強，因此被包裝成了一些更為高效的機器學習演算法，其中最為知名的就是梯度提升決策樹GBDT（Gradient Boosting Decisio

GBDT（梯度提升決策樹）演算法（詳細版）

轉載地址：https://mp.weixin.qq.com/s?__biz=MzIzNDM2OTMzOQ==&mid=2247485043&idx=1&sn=0a207eb61e3119d06507e9c9a42c4164&chksm=e8f6

梯度提升決策樹（GBDT）

綜述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和SV

【ML筆記】梯度提升決策樹（GBDT）和隨機森林（RF）的異同

GBDT和RF簡介 GBDT（Gradient Boosting Decision Tree） DT + Boosting = GBDT GBDT是一種boosting演算法。boosting工作機制：先從初始訓練集訓練處一個基學習器，然後在根據基學習器的表現對訓練樣本分佈

筆記︱決策樹族——梯度提升樹(GBDT）

每每以為攀得眾山小，可、每每又切實來到起點，大牛們，緩緩腳步來俺筆記葩分享一下吧，please~ ——————————————————————————— 本筆記來源於CDA DSC，L2-R語言課程所學進行的總結。 一、介紹：梯度提升樹（Gradie

GBDT：梯度提升決策樹

From http://blog.csdn.net/suranxu007/   AND     http://www.jianshu.com/p/005a4e6ac775 綜述   GBDT(Gradient Boosting Decision Tree) 又叫

梯度提升決策樹(Gradient Boosting Decision Tree)，用於分類或迴歸。

今天學習了梯度提升決策樹（Gradient Boosting Decision Tree, GBDT），準備寫點東西作為記錄。後續，我會用python 實現GBDT， 釋出到我的Github上，敬請Star。 梯度提升演算法是一種通用的學習演算法，除了決策樹，還可以使用其它模型作為基學習器。梯度提升演算法的

【機器學習基礎】梯度提升決策樹

引言 上一節中介紹了《隨機森林演算法》，該演算法使用bagging的方式作出一些決策樹來，同時在決策樹的學習過程中加入了更多的隨機因素。該模型可以自動做到驗證過程同時還可以進行特徵選擇。 這一節，我們將決策樹和AdaBoost演算法結合起來，在AdaBoos

整合模型python實現，隨機森林，梯度提升決策樹

import pandas as pd; titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt') X = titanic[['pclass'

python中使用整合模型，隨機森林分類器，梯度提升決策樹效能模型分析 視覺化

import pandas as pd titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt') #titanic = pd.read_csv('.

GBDT梯度提升樹（一）

提升樹（例項） 已知訓練資料如上表所示，x的取值範圍為區間[0.5,10.5]，y的取值範圍為區間[5.0,10.0]，學習這個迴歸問題的提升樹模型，考慮只用樹樁作為基函式。 解   既然是一個提升樹,

GBDT(梯度提升樹)scikit-klearn中的引數說明及簡匯

1、GBDT（梯度提升樹）概述：  　GBDT是整合學習Boosting家族的成員，區別於Adaboosting。adaboosting是利用前一次迭代弱學習器的誤差率來更新訓練集的權重，在對更新權重後的訓練集繼續迭代訓練。GBDT也是迭代演算法，但是不同於Adaboosting，GBDT是進行一

GBDT梯度提升樹演算法原理小結（三）

首先我們回顧一下Gradient Boosting 的本質，就是訓練出，使損失函式最小，即 其求解步驟如下： 所以，我們首先得定義出損失函式，才能談求解的事情。接下來我們針對不同場景，介紹相應的損失函式。 迴歸 對於迴歸問題，定義好損失函式後，Gradient B

機器學習 | 詳解GBDT梯度提升樹原理，看完再也不怕面試了

本文始發於個人公眾號：TechFlow，原創不易，求個關注 今天是機器學習專題的第30篇文章，我們今天來聊一個機器學習時代可以說是最厲害的模型——GBDT。 雖然文無第一武無第二，在機器學習領域並沒有什麼最厲害的模型這一說。但在深度學習興起和流行之前，GBDT的確是公認效果最出色的幾個模型之一。雖然現在