1. 背景

決策樹是一種基本的分類與迴歸方法。決策樹模型具有分類速度快，模型容易視覺化的解釋，但是同時是也有容易發生過擬合，雖然有剪枝，但也是差強人意。

提升方法（boosting）在分類問題中，它通過改變訓練樣本的權重（增加分錯樣本的權重，減小分隊樣本的的權重），學習多個分類器，並將這些分類器線性組合，提高分類器效能。boosting數學表示為：

f(x)=w0+∑m=1Mwmϕm(x)$$f(x)=w_0+\sum _{m=1}^M{w}_m{\varphi }_m(x)$$

其中w是權重，ϕ$\varphi$是弱分類器的集合，可以看出最終就是基函式的線性組合。

於是決策樹與boosting結合產生許多演算法，主要有提升樹、GBDT等。本文主要是GBDT學習筆記。

1.1 Gradient Boosting

Gradient Boosting是一種Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型損失函式的梯度下降方向。損失函式是評價模型效能（一般為擬合程度+正則項），認為損失函式越小，效能越好。而讓損失函式持續下降，就能使得模型不斷改性提升效能，其最好的方法就是使損失函式沿著梯度方向下降（講道理梯度方向上下降最快）。

Gradient Boost是一個框架，裡面可以套入很多不同的演算法。

1.2 提升樹-boosting tree

以決策樹為基函式的提升方法稱為提升樹，其決策樹可以是分類樹OR迴歸樹。提升樹模型可以表示為決策樹的加法模型。

fM(x)=∑m=1MT(x;Θm)$$f_M(x)=\sum _{m=1}^{M}T(x;{\mathrm{\Theta }}_m)$$
其中，T(x;Θm)表示決策樹，$T(x;{\mathrm{\Theta }}_m)表示決策樹，$Θm${\mathrm{\Theta }}_m$表示樹的引數，M為樹的個數。

迴歸問題提升樹演算法

輸入：訓練資料集T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN)},xi∈χ=Rn,yi∈γ,i=1,2,⋅⋅⋅,N$T=\{(x_1,y_1),(x_2,y_2),···,(x_N,y_N)\},x_i\in \chi =R^n,y_i\in \gamma ,i=1,2,···,N$；γ$\gamma$為輸出空間。

輸出：提升樹fM(x)$f_M(x)$

1. 初始化f0(x)=0$f_0(x)=0$

2. 對於m=1,2,...M$m=1,2,...M$:

   1. 計算殘差（後一棵樹擬合前一顆樹殘差）：

      rmi=yi−fm−1(xi)$$r_{mi}=y_i-f_{m-1}(x_i)$$

   2. 擬合殘差學習一個迴歸樹，得到T(x;Θm)$T(x;{\mathrm{\Theta }}_m)$

   3. 更新fm(x)=fm−1(x)+T(x;Θm)$f_m(x)=f_{m-1}(x)+T(x;{\mathrm{\Theta }}_m)$

3. M次迭代之後得到提升樹：

   fM(x)=∑m=1MT(x;Θm)$$f_M(x)=\sum _{m=1}^{M}T(x;{\mathrm{\Theta }}_m)$$

   ​

2 Gradient Boosting Decision Tree

提升樹的學習優化過程中，損失函式平方損失和指數損失時候，每一步優化相對簡單，但對於一般損失函式優化的問題，Freidman提出了Gradient Boosting演算法，其利用了損失函式的負梯度在當前模型的值

−[∂L(y,f(xi))∂f(xi)]f(x)=fm−1(x)$$-[\frac{\mathrm{\partial }L(y,f(x_i))}{\mathrm{\partial }f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$
作為迴歸問題提升樹演算法的殘差近似值，去擬合一個迴歸樹。

2.1 函式空間的數值優化

優化目標是使得損失函式最小，(N是樣本集合大小)：

相關推薦

『機器學習筆記 』GBDT原理-Gradient Boosting Decision Tree

1. 背景 決策樹是一種基本的分類與迴歸方法。決策樹模型具有分類速度快，模型容易視覺化的解釋，但是同時是也有容易發生過擬合，雖然有剪枝，但也是差強人意。 提升方法（boosting）在分類問題中，它通過改變訓練樣本的權重（增加分錯樣本的權重，減

梯度提升決策樹-GBDT（Gradient Boosting Decision Tree）

研究GBDT的背景是業務中使用到了該模型，用於做推薦場景，當然這裡就引出了GBDT的一個應用場景-迴歸，他的另外一個應用場景便是分類，接下來我會從以下幾個方面去學習和研究GBDT的相關知識，當然我也是學習者，只是把我理解到的整理出來。本文參考了網上

機器學習筆記——梯度下降（Gradient Descent）

梯度下降演算法（Gradient Descent） 在所有的機器學習演算法中，並不是每一個演算法都能像之前的線性迴歸演算法一樣直接通過數學推導就可以得到一個具體的計算公式，而再更多的時候我們是通過基於搜尋的方式來求得最優解的，這也是梯度下降法所存在的意義。 不是一個機器學習演

『PHP學習筆記』系列七：讀取MySQL資料庫中的資料表

資料表結構： 資料表資料：  從 MySQL 資料庫讀取資料：  SELECT 語句用於從資料表中讀取資料: SELECT column_name(s) FROM table_name 我們可以使用 * 號來讀取所有資料表中的欄位： SEL

『PHP學習筆記』系列三：函式初步

問題一：  定義一個函式，該函式能夠判斷一個數字是否是一個素數（也叫質數），並利用該函式的功能，輸出2-200之間的所有素數。（注：素數就是隻能被1和它本身整除的數。） 程式碼實現： <?php //定義一個函式能夠判斷一個數字是否是一個素數，並利用該函

『PHP學習筆記』系列二：氣泡排序

演算法原理： 氣泡排序是一種穩定的排序演算法。 氣泡排序，要求必須是列舉陣列，且下標是從0開始的正整數。 遍歷一個數組，在此過程中，依次將相鄰的兩個元素的值進行大小比較。 如果前面的值比後面的大，則將兩個元素的值進行位置交換。 這個過程一直比較到最後，陣列中的最

『PHP學習筆記』系列一：利用for迴圈解決過路口問題

過路口問題： 假設某人有100,000現金。每經過一次路口需要進行一次交費。交費規則為當他現金大於50,000時每次需要交5%如果現金小於等於50,000時每次交5,000。請寫一程式計算此人可以經過多少次這個路口。 解題思路： 此題最重要的其實就是思路和邏輯，程式碼實現其實很簡單，這裡

『PHP學習筆記』系列六：二分法查詢演算法

演算法原理： 二分法查詢適用於資料量較大時，但是資料需要先提前排好順序。（必須是順序儲存的資料！） 確定該陣列中間元素位置：intval(0+(count($arr)-1))/2)) 如果中間位置的元素值，與要查詢的值相等，則直接返回。 如果中間位置的元素值，與要查詢

『PHP學習筆記』系列五：選擇排序

演算法原理： 選擇排序（Selection sort）是一種簡單直觀的排序演算法。 它的工作原理是每一次從待排序的資料元素中選出最小（或最大）的一個元素，存放在序列的起始位置，直到全部待排序的資料元素排完。 求得一個數組的最大值的下標，並將這個最大值下標的單元跟最後一個單元

『PHP學習筆記』系列四：利用函式遞迴呼叫思想解決【斐波那契數列】問題和【猴子吃桃問題】問題

什麼是函式遞迴思想？ 遞迴思想：把一個相對複雜的問題，轉化為一個與原問題相似的，且規模較小的問題來求解。 遞迴方法只需少量的程式就可描述出解題過程所需要的多次重複計算，大大地減少了程式的程式碼量。 但在帶來便捷的同時，也會有一些缺點，函式遞迴的執行效率不高（多次呼叫時）。

『PHP學習筆記』系列九：利用from表單的onSubmit事件進行瀏覽器端的資料驗證

資料驗證思路：      當我們在網站進行註冊時，一般有兩個資料驗證的過程，一個是在伺服器端的驗證，一個是在瀏覽器端的驗證。瀏覽器端的驗證一般是用來驗證提交的資訊是否符合註冊的要求，即資料是否合法；伺服器端的驗證主要是驗證該註冊資訊是否已經存在於伺服器中，如果註

『PHP學習筆記』系列八：向MySQL資料庫中新增資料

資料表結構： 資料表原有資料： 向MySQL資料庫寫入資料：  INSERT INTO 語句通常用於向 MySQL 表新增新的記錄： INSERT INTO table_name (column1, column2, column3,...) VALUES

機器學習筆記——梯度下降（Gradient D）

梯度下降演算法（Gradient Descent） 在所有的機器學習演算法中，並不是每一個演算法都能像之前的線性迴歸演算法一樣直接通過數學推導就可以得到一個具體的計算公式，而再更多的時候我們是通過基於搜尋的方式來求得最優解的，這也是梯度下降法所存在的意義。 不

『 論文閱讀』LightGBM原理-LightGBM: A Highly Efficient Gradient Boosting Decision Tree

17年8月LightGBM就開源了，那時候就開始嘗試上手，不過更多還是在調參層面，在作者12月論文發表之後看了卻一直沒有總結，這幾天想著一定要翻譯下，自己也梳理下GBDT相關的演算法。 Abstract Gradient Boosting Decision Tr

GBDT(Gradient Boosting Decision Tree) 沒有實現只有原理

            阿彌陀佛，好久沒寫文章，實在是受不了了，特來填坑，最近實習了(ting)解(shuo)到(le)很多工業界常用的演算法，諸如GBDT,CRF,topic model的一些演算法等，也看了不少東西，有時間可以詳細寫一下，而至於實現那真的是沒時間沒心情再

機器學習系列(11)_Python中Gradient Boosting Machine(GBM）調參方法詳解

1.前言 如果一直以來你只把GBM當作黑匣子，只知呼叫卻不明就裡，是時候來開啟這個黑匣子一探究竟了！ 這篇文章是受Owen Zhang (DataRobot的首席產品官，在Kaggle比賽中位列第三)在NYC Data Science Academy裡提

機器學習入門 - 1. 介紹與決策樹(decision tree)

recursion machine learning programmming 機器學習(Machine Learning) 介紹與決策樹(Decision Tree)機器學習入門系列 是 個人學習過程中的一些記錄與心得。其主要以要點形式呈現，簡潔明了。1.什麽是機器學習？一個比較概括的理解是:

Gradient Boosting Decision Tree (GBDT)

GBDT也是整合學習Boosting家族的成員，Boosting是各個基學習器之間有很強的依賴關係，即序列。GBDT限定了基學習器只能使用CART迴歸樹。 樹模型的優缺點： GBDT是一個加法模型，採用前向分步演算法進行求解。假設前一輪得到的模型是 ft−1(x)

GBDT(Gradient boosting Decision Tree)梯度提升決策樹

參考資料 部落格1 GBDT演算法原理深入解析 這位大佬後面講了推導,讓我明白了這段話: Gradient Boosting是一種Boosting的方法，其與傳統的Boosting的區別是，每一次的計算是為了 **減少上一次的殘差(residual) **，而為了消除殘差，可以在殘差

【機器學習演算法-python實現】決策樹-Decision tree（1） 資訊熵劃分資料集

1.背景          決策書演算法是一種逼近離散數值的分類演算法，思路比較簡單，而且準確率較高。國際權威的學術組織，資料探勘國際會議ICDM （the IEEE International Con