在《統計學習方法》中第八章提升方法，包括四節，第一節介紹AdaBoost、第二節介紹AdaBoost的誤差、第三節介紹從前向分佈演算法來實現AdaBoost、第四節介紹提升樹。

第一節 提升方法AdaBoost演算法

第一節首先介紹了AdaBoost的思想：是先得到一個弱分類器，然後在這個弱分類器的基礎上將其提升到強分類器，具體方法是提升上一個分類器中被誤分類的樣本的權重，使得本次訓練的分類器更加重視這些樣本，最後的分類器是所有的分類器的線性組合。
它的思想可以類比為秋招季參加了很多面試：第一次面試，面試官給你打了6分，並給你建議說你知識廣度夠，深度不夠；第二次面試前你著重對知識的深度這方面進行了準備，第二次面試面試官給你打了6.5分，並給你建議說你的表達能力有限；第三次面試，你又對錶達能力進行了準備，面試官給你打了7分。三次面試完後，你總結經驗，著重第三次的經驗，因為第三次面試官給你打的分最高。
每一次面試，面試官給你建議就好像是演算法中在該輪沒有被正確分類的樣本點，你開始重視這些建議就好比給這些誤分類的點增加了權值，面試官給你打的分就好比是演算法中該次弱分類器的權值，得分高的面試經驗比得分低的面試經驗更需要你重視。AdaBoost演算法的思想就是這樣，前一次沒有正確分類的樣本點在後一次會被更加重視，前一次的分類器訓練結果是會影響後一次分類器結果的。
AdaBoost先對所有劃分選擇出一個誤分類最小的劃分，得出一個分類器，分類器的權值

am=12log(1−emem)，樣本的權值也發生更新 wm+1,i=wm,iZme−amyiGm(xi)
也就是說前一次的訓練的結果會被這次的分類器產生影響。
問：AdaBoost演算法每一次訓練的訓練誤差相對於上一輪是不是一定減少？
答：首先區分訓練誤差和訓練誤差率，訓練誤差e=1N∑i=1NI(G(xi)≠yi) 不同於分類誤差率 em=∑i=1Nwm,iI(Gm(xi)≠yi) ,被上一輪分類錯誤的樣本增加了它的權值，從而使得下一輪分類器的訓練重視這些被上一輪分類器誤分的樣本，權值更高的樣本更有可能被正確分類，那麼相應的分類誤差率一定減小，訓練誤差不一定減少。
延伸：分類誤差率一定一直減少，那麼樣本權值 a

m=12log(1−emem)一定一直增加，所以可以確定前一輪的分類器的權值一定小於後一輪的權值，am 一定小於 am+1 。

第二節 AdaBoost演算法的訓練誤差分析

第二節介紹了AdaBoost的誤差，誤差要用到泰勒公式的知識，具體公式看附加知識中。我們知道訓練誤差率是不斷減少的，那麼訓練誤差也在學習過程中不斷地減少（注意是學習過程中分類器的加法模型的訓練誤差一直減少，而後一個分類器的訓練誤差不一定比前一個分類誤差的訓練誤差小）。訓練誤差是隨著每加權一個弱分類器而減少的，那麼我們要得出訓練誤差

e=1N∑i=1NI(G(xi)≠yi)的性質，就需要使其小於一個值（在這裡是 1N∑

ie−yif(xi)）,推出後一個值的性質，就可以得出前者的性質，比如後者呈指數形式下降，前者小於後者，那麼它也呈指數下降。同理，如果一個變數是一直增大的，那麼要證明這個變數的性質，就要使其大於一個值，推出這個值得性質就可以得出變數的性質。
問：在第二節中AdaBoost的訓練誤差界的證明中得出，AdaBoost的訓練誤差是以指數速率下降的，和AdaBoost的損失函式是指數函式有什麼聯絡？可不可以得出訓練誤差是以指數速率下降，所以選擇損失函式為指數函式？
答：損失函式的意義是得出模型給出的結果和實際結果的偏離程度，AdaBoost的損失函式選擇指數函式，是因為AdaBoost在第一節處理的是二分類問題，如果處理的是迴歸問題那麼選擇的是均分差損失函式，損失函式的選擇只與處理的問題有關。所以訓練誤差的性質與損失函式的選擇之間沒有聯絡。

第三節 前向分佈演算法與AdaBoost

第三節介紹了前向分佈演算法並從前向分佈演算法的角度來看AdaBoost。首先介紹了前向分佈演算法，前向分佈演算法的目標是訓練一個加法模型

f(x)=∑m=1Mβmb(x;γm)是從前向後，每一步只學習一個基函式及其係數，而平常的分佈演算法是從m=1到M所有引數 βm,γm 的優化問題簡化為逐次求解各個 βm，γm的優化問題，一步一個腳印肯定比一步登天更容易實現，不是嗎？
AdaBoost也可以從前向分佈演算法的角度來看，不過要設定基函式為基本分類器，損失函式為指數損失函式。它的每一輪的分類器的訓練是為了擬合殘差，第一輪是為了擬合樣本資料，後面都是為了擬合殘差。由前向分佈演算法可以推匯出第一節的分類器權值 am 和第m+1輪的樣本權值am+1。

第四節 從提升樹到GBDT

第四節介紹了提升樹，提升樹是AdaBoost的特例，可以認為提升樹是基本分類器為二類分類樹，損失函式為平方損失函式的AdaBoost。分類問題的提升樹改變權重，迴歸問題的提升樹擬合殘差。
前向分佈演算法+決策樹（分類樹or迴歸樹）=提升樹
因為損失函式是平方損失函式的時候，殘差是好求的，而如果不是平方損失函式也不是指數損失函式的時候，殘差就不可求得，這時，就要用損失函式關於當前模型f（x）的負梯度來近似代替殘差。梯度提升演算法就是用梯度下降法來講弱分類器提升為強分類器的演算法。
問：提升樹和AdaBoost之間是什麼關係?
答：AdaBoost是提升思想的演算法模型,經典的AdaBoost一般用於分類問題，並沒有指定基函式，或者說是基分類器，它可以從改變樣本的權值的角度和前向分佈演算法的角度來解釋。當確定基函式是迴歸或分類樹時，結合前向分佈演算法就得出提升樹演算法。
使用梯度提升進行分類的演算法叫做GBDT，進行迴歸時則叫做GBRT。一般的提升樹是用殘差來確定樹的葉節點的切分，並根據殘差來確定該切分下的輸出值，而GBDT首先是根據負梯度來確定切分，確定切分後根據線性搜尋估計葉節點區域的值，使損失函式極小化。這就好比是尋找一個全域性極小值，負梯度只給定一個方向，通過線性搜尋確定在該方向下走幾步（該次向北，走20步。。。）線性搜尋的步驟：

cmj=argminc∑xi∈rmjL(yi,fm−1(xi)+c)。所以可以認為偽殘差是隻給出方向的殘差。
GBDT的演算法流程如下：
1）初始化,初始化一個常數值，即只有一個根節點的樹 f0(x)=argminc

相關推薦

《統計學習方法》第八章-提升方法 學習總結

在《統計學習方法》中第八章提升方法，包括四節，第一節介紹AdaBoost、第二節介紹AdaBoost的誤差、第三節介紹從前向分佈演算法來實現AdaBoost、第四節介紹提升樹。 第一節 提升方法AdaBoost演算法 第一節首先介紹了AdaBoost的思

CLR via C#學習筆記-第八章-分部方法

8.7 分部方法 重寫基類的虛方法 使用繼承基類讓子類重寫基類虛方法的做法存在很多問題，如下所示程式碼。 //工具生成的程式碼，儲存在某個程式碼檔案中 internal class Base { private String m_name; protected virtua

統計學習方法-李航（第8章 提升方法筆記)

這一章主要講boosting提升方法，代表方法是AdaBoost演算法，我會從演算法的本質去解釋演算法，儘量用簡單的語言其描述，具體推導過程參考原文。 提升方法就是從弱學習演算法出發，反覆學習，得到一系列弱分類器(又稱為基本分類器)，然後組合這些弱分類器，構成一個強分類器。 一、 提

增強學習筆記 第八章 表格類方法的規劃與學習

ping 學習筆記 com 下一步 方法 規劃 分享 高效 9.png 8.1 模型與規劃 規劃，指利用已有經歷對環境提煉模型，減少對環境交互的依賴。 8.2 Dyna框架 8.3 當模型不對時 第一種情況，原路已經行不通，在堵塞處往返多次後，value會被

強化學習（RLAI）讀書筆記第八章表格方法的規劃與學習

第八章：Planning and Learning with Tabular Methods 本章為需要環境的model-based強化學習方法（如DP和啟發式搜尋）和不需要環境的model-free方法（比如MC和TD）提供一個統一的論述框架。基於模型的方法依賴規劃（planning）而無模型

增強學習筆記 第五章 蒙特卡洛方法

兩個 width 重要 思想 後者 src 兩種方法 預測 eps 5.1 蒙特卡洛預測 分為兩種：First-Visit MC和Every-Visit MC，前者用的更多。後者用於函數近似和Eligibility Traces 5.2 蒙特卡洛評估action valu

學習筆記 第八章 使用CSS美化列表

空白 bar 獲得 重新定義 內容 必須 graphic ogr 樣式 第8章 使用CSS美化列表 8.1 列表的基本結構 在HTML中，列表結構可以分為兩種基本類型：有序列表和無序列表。使用標簽如下： <ul>...</ul>：標識無序列表；

《機器學習實戰》學習筆記第八章 —— 線性回歸

逆矩陣 最小 png color 分享圖片 .html list 正則 pri 相關筆記： 吳恩達機器學習筆記（一） —— 線性回歸 吳恩達機器學習筆記（三） —— Regularization正則化 主要內容： 一.線性回歸之普通最小二乘法 二.局部加權線性回

吳恩達機器學習（第八章）---正則化

在我們擬合的時候，根據我們選擇函式的不同可能會出現欠擬合，擬合程度較好，過擬合。 1.欠擬合和過擬合        欠擬合，上面第一張圖就是欠擬合情況，欠擬合表現為所選的函式沒有很好的擬合所給的資料，從影象上看就是很多資料都不在函式上，偏

《機器學習》 周志華學習筆記第八章 整合學習（課後習題）python實現

  1.個體與整合 1.1同質整合 1.2異質整合 2.boosting:代表AdaBoost演算法 3.Bagging與隨機森林 3.1Bagging 是並行式整合學習方法最著名的代表（基於自主取樣法bootstrap sampling） 自己學習時編寫了

深度學習花書學習筆記 第八章 深度模型中的優化

學習和純優化有什麼不同 我們期望降低的是期望泛化誤差，也叫風險。但是我們平時訓練時是以訓練誤差計算，俗稱經驗風險最小化。可能導致過擬合。 訓練方式： 當原問題較難運算時，可以計算對等問題，使用代理損失函式。但是提前終止演算法使用的是真實的損失函式一般。 當訓練資料過多

《Spring實戰》學習筆記-第八章：使用Spring Web Flow

第四版的第八章內容與第三版基本一致。 本章內容： 建立會話式web應用程式 定義流程狀態和行為 保護web流程 網際網路的一個奇特之處就在於它很容易讓人迷失。有如此多的內容可以檢視和閱讀，而超連結是其強大魔力的核心所在。 有時候，web應用程式需要控

《快樂的Linux命令列》學習記錄——第八章鍵盤高階操作

命令列最為珍視的目標之一就是懶惰；用最少的擊鍵次數來完成最多的工作。 • clear －清空螢幕 • history －顯示歷史列表內容 1.命令列編輯 Bash 使用了一個名為 Readline 的庫（共享的執行緒集合，可以被不同的程式使用），來實現 命令列

《資料結構與演算法分析》學習筆記-第八章-不相交集

[toc] *** 對於每一對元素(a,b), a, b屬於S，aRb或者為true或者為false，則稱在集合S上定義關係R，如果aRb是true。那麼我們說a與b有關係。 ## 8.1 等價關係 等價關係是滿足下列三個性質的關係R： 1. （自反性）對於所有的a屬於S，aRa 2. (對稱性)aRb當

《機器學習》第三章 決策樹學習 筆記加總結

分類問題 子集 觀察 組成 cas 普通 重復 1.0 需要 《機器學習》第三章 決策樹學習 決策樹學習方法搜索一個完整表示的假設空間，從而避免了受限假設空間的不足。決策樹學習的歸納偏置是優越選擇較小的樹。 3.1.簡介 決策樹學習是一種逼近離散值目標函數的方法，在這種方法

統計學習方法-第2章-感知機(1)

2.1 感知機模型 定義: 輸入特徵空間為\(\chi\subseteq R^n\), 輸出空間為\(\mathcal{Y}=\{+1, -1\}\). 則由輸入空間到輸出空間的如下函式: \[f(x) = sign(w\cdot x+b)\] 其中\[sign(x)=\left\{\begin{array

【統計學習方法-李航-筆記總結】八、提升方法

本文是李航老師《統計學習方法》第八章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： https://www.cnblogs.com/YongSun/p/4767513.html 主要內容包括： 1. 提升方法AdaBoost演算法 2. AdaBoost演算法的訓練誤差分析

統計學習方法第四章課後習題

4.1 用極大似然估計法推導樸素貝葉斯法中的先驗概率估計公式(4.8)和條件概率估計公式(4.9) 首先是(4.8) P(Y=ck)=∑i=1NI(yi=ck)NP({Y=c_k})=\frac {\sum_{i=1}^NI(y_i=c_k)} {N} P(Y=

統計學習方法 第五章

統計學習第五章：決策樹 決策樹模型 分類決策樹模型是一種描述對例項進行分類的樹形結構，表示基於特徵對例項進行分類的過程。決策樹由結點和有向邊組成。結點有兩種型別：內部節點和葉節點，內部節點表示一個

最小二乘迴歸樹Python實現——統計學習方法第五章課後題

李航博士《統計學習方法》第五章第二題，試用平方誤差準則生成一個二叉迴歸樹。 輸入資料為： x     0            1          2         3