機器學習 - 提升樹（上）- BT、GBDT

• BT（Boosting Tree）
• 介紹
• 原理
• 演算法過程
• 舉例
• GBDT（Gradient Boosting Decision Tree）
• 原理
• 特點

在之前對整合學習的兩大框架 Bagging 與 Boosting 經過講解，並對 Bagging 實現的一種演算法 —— 隨機森林進行了介紹。那麼今天就對 Boosting 的實現演算法進行介紹。

• BT（Boosting Tree）

  1. 介紹

     BT（Boosting Tree），提升樹，是以決策樹作為基分類器的 Boosting 方法，對分類問題決策樹是分類二叉樹且使用指數損失函式，對迴歸問題決策樹使用迴歸二叉樹，並採用平方差損失函式。提升樹被認為是統計學習中效能最好的方法之一。

  2. 原理

     提升樹演算法的精髓可以用一個詞來表達：“殘差”。在加法模型與前向分步演算法的應用過程中，每一個基分類器學習的目標都是上一個基分類器預測值與真實值之間的誤差值，這個誤差值被稱為 “殘差”。

     對於二分類問題，提升樹只需將 AdaBoost 演算法中 的基分類器限制為二分類樹即可。下面敘述迴歸問題的提升樹。

     ---

     對迴歸問題使用前向分步演算法，其中 $f_m$ 為第 m 次迭代的模型， $T_{}$

     m T_m 為第 m 次學得的決策樹。:

     $\begin{cases} f_0(x)\\ …\\ …\\ f_m(x)=f_{m-1}+T_m(x)，m=1,2,...,M\\ \end{cases} \Longrightarrow f_M(x)=\sum_{m=1}^{M}T_m(x)$

     採用平方差損失函式 $L(y,f(x))=[y-f(x)]^2$ 時，其損失變為：

     $L(y,f_{m-1}+T_m(x))=[y-(f_{m-1}+T_m(x))]^2$
                                            $=[(y-f_{m-1})-T_m(x)]^2$
                                            $=(r-T_m(x))^2$，其中 $r=y-f_{m-1}$

     對於學習第 m 棵樹來講，它所面對的真實標籤值為 $r$，而 $r$ 又是 m-1 次預測值與真實值之間的差，所以第 m 次學習的目標就是上一輪的殘差。

  3. 演算法過程

     (1) 初始化： $f_0(x)=0$

     (2) 對 m=1,2,…,M

     ① 計算殘差： $r_{mi}=y_i-f_{m-1}(x_i)，i=1,2,...,n$

     ② 將殘差作為訓練資料學習一個迴歸樹： $T_m(x)$

     ③ 更新模型： $f_m(x)=f_{m-1}+T_m(x)$

     (3) 得到提升樹： $f_M(x)=\sum_{m=1}^{M}T_m(x)$

  4. 舉例

     $x_i$	1	2	3	4	5	6	7	8	9	10
     $y_i$	5.56	5.7	5.91	6.4	6.8	7.05	8.9	8.7	9	9.05

     （對於學習迴歸樹的演算法過程可參閱 決策樹 - CART）

     (1) 求出切分點：<0.5, 1.5, 2.5, 3.5, 4.5, 5.5, 6.5, 7.5, 8.5, 9.5>

     (2) 以 切分點 s₁ = 1.5 為例。s₁ 將資料劃分為 R₁={x₁}，R₁={x₂,x₃,…,x₁₀}

     (3) 對 R₁，R₂ 中的 元素值 計算平均值 c₁，c₂ ，而後計算損失m₁，m₂. 其中 c₁，c₂ 視作 R₁，R₂ 結點的預測值。

            $ e 1 = ∑ x i ∈ R 1 ( y i − c 1 ) 2 = 0 ， e 2 = ∑ x i 相關推薦 機器學習 - 提升樹（上）- BT、GBDT 機器學習 - 提升樹（上）- BT、GBDT BT（Boosting Tree） 介紹 原理 演算法過程 舉例 GBDT（Gradient Boosting De 機器學習 - 提升樹（下）- XGBoost 以及與 GBDT 的比較 機器學習 - 提升樹（下）- XGBoost 以及與 GBDT 的比較 XGBoost（eXtreme Gradient Boost） 原理 預剪枝 與 GBDT 的比較 機器學習 - 決策樹（上）- 資訊理論基礎 機器學習 - 決策樹 and 資訊理論基礎 熵 自資訊 夏農熵 交叉熵 條件熵 互資訊（ID3 所使用的資訊增益） KL 散度（相對熵） 機器學習 - 決策樹（中）- ID3、C4.5 以及剪枝 機器學習 - 決策樹（中）- ID3、C4.5 以及剪枝 決策樹簡述 決策樹過程 ID3 C4.5 過擬合 剪枝定義 剪枝過程 機器學習第一篇（上）   提供推薦（電影，音樂，書籍，交友，購物，網站，部落格服務，文章，幽默笑話等）： 這是我在看《集體智慧程式設計》這本書時所做的筆記，一是為了以後忘記的時候能再翻回來看一看，二是將自己所記錄的東西能夠與大家分享，三是保持我對人工智慧的激情與動力。 協作性過濾：對一大群人進行搜尋 機器學習 - 決策樹（下）- CART 以及與 ID3、C4.5的比較 機器學習 - 決策樹（下）- CART 以及與 ID3、C4.5的比較 CART 迴歸樹 分類樹 剪枝 剪枝 選擇 決策樹特點總結 ID3，C4. 一個真實資料集的完整機器學習解決方案（上） 更多精彩內容，歡迎關注公眾號：數量技術宅。想要獲取本期分享的完整策略程式碼，請加技術宅微信：sljsz01 引言 我們到底應該怎麼學會、靈活使用機器學習的方法？技術宅做過小小的調研，許多同學會選擇一本機器學習的書籍，或是一門機器學習的課程來系統性地學習。而在學完書本、課程後，並不清楚如何將這些理論、技術應 【機器學習】決策樹（上） 前言：決策樹是一種基本的分類與迴歸演算法。可以認為是if-then規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。 學習時，利用訓練資料，根據損失函式最小化原則建立決策樹模型。 學習包括3個步驟：特徵選擇、決策樹的生成、決策樹的修建 一、決策樹模型 更多參照博文 機器學習(十二) 決策樹（上） 決策樹(Decision Tree）是在已知各種情況發生概率的 基礎上，通過構成決策樹來求取淨現值的 期望值大於等於零的概率，評價專案風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由於這種決策分支畫成圖形很像一棵樹的枝幹，故稱決策樹。 【機器學習】決策樹（上）——從原理到演算法實現 前言：決策樹（Decision Tree）是一種基本的分類與迴歸方法，本文主要討論分類決策樹。決策樹模型呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。相比樸素 我的機器學習之旅（六）：決策樹 family 分配 根據 drop chrom labels arch ntp -o 決策樹概念： 分類決策樹模型是一種描述對實例進行分類的樹形結構。決策樹由結點和有向邊組成。結點有兩種類型：內部節點和葉節點，內部節點表示一個特征或屬性，葉節點表示一個類。 分類的時候，從根 機器學習實戰教程（一）：線性回歸基礎篇（上） 學習 reg style spa 目標 pub auto 機器 輸入 一 什麽是回歸？ 　　回歸的目的是預測數值型的目標值，最直接的辦法是依據輸入，寫入一個目標值的計算公式。 　　假如你想預測小姐姐男友汽車的功率，可能會這麽計算： 　　　　　　　　　　　　　　Ho 機器學習讀書筆記（三）決策樹基礎篇之從相親說起 方法 事務 家裏 分類 筆記 判斷 都是 rom tro 一、決策樹 決策樹是什麽？決策樹(decision tree)是一種基本的分類與回歸方法。舉個通俗易懂的例子，如下圖所示的流程圖就是一個決策樹，長方形代表判斷模塊(decision block)，橢圓形成代 HIT機器學習期末複習（1）——機器學習簡介及決策樹 劉楊的機器學習終於上完了惹，下週就要考試了，趕緊複習ing...... 趁機做個總結，就當是複習了惹...... 機器學習簡介 1、什麼是機器學習 簡單來說，就是一個三元組<P, T, E> P——performance效能（對應著效能的評估函式，也就是常說的loss或者likeli Python3實現機器學習經典演算法（四）C4.5決策樹 一、C4.5決策樹概述 　　C4.5決策樹是ID3決策樹的改進演算法，它解決了ID3決策樹無法處理連續型資料的問題以及ID3決策樹在使用資訊增益劃分資料集的時候傾向於選擇屬性分支更多的屬性的問題。它的大部分流程和ID3決策樹是相同的或者相似的，可以參考我的上一篇部落格：https://www.cnblogs. 機器學習-決策樹（decision tree） 機器學習中分類和預測演算法的評估： 準確率 速度 強壯性（演算法中當有噪音和某些值缺失時，演算法能否依然很好） 可規模性 可解釋性（能否很好的解釋模型） 一、什麼是決策樹？ 1、判定樹（決策樹）是一個類似於流程圖的樹結構，其中，每個內部節點表示在一個屬性上的 機器學習實戰教程（三）：決策樹實戰篇之為自己配個隱形眼鏡 原文連結：cuijiahua.com/blog/2017/1… 一、前言 上篇文章機器學習實戰教程（二）：決策樹基礎篇之讓我們從相親說起講述了機器學習決策樹的原理，以及如何選擇最優特徵作為分類特徵。本篇文章將在此基礎上進行介紹。主要包括： 決策樹構建 決策樹視覺化 使用決 3分鐘瞭解入門「機器學習」該學習什麼？（上） 本文來自作者粽子 在 GitChat 上分享「零基礎的新手，如何入門機器學習？」，「閱讀原文」檢視交流實錄 「文末高能」 編輯 | 阪本 一、機器學習入門淺談 機器學習領域，又或者更大而 spark機器學習筆記：（四）用Spark Python構建分類模型（上） 因此,當 wTx的估計值大於等於閾值0時,SVM對資料點標記為1,否則標記為0(其中閾值是SVM可以自適應的模型引數)。 SVM的損失函式被稱為合頁損失,定義為:                                                         機器學習系列：（五）決策樹——非線性迴歸與分類 和猜猜看一樣，決策樹也是通過對解釋變數序列的逐條測試獲取響應變數結果的。那麼，哪個解釋變數應該先測試？直覺觀察會發現，解釋變數集合包含所有貓或者所有狗的測試，比既包含貓又包含狗的解釋變數集合的測試要好。如果子整合員種類不同，我們還是不能確定種類。我們還需要避免建立那種測試，把單獨的一隻貓或一條狗分離出 $