接著整合演算法講講GBDT和Xgboost，二者的原理其實差不多的，他們都屬於提升演算法。梯度上升（Gradient Boosting）是說，在整合演算法中每個弱決策樹的生成都是依據損失函式的梯度方向。

提升演算法，是找到找到最優解F(x)使得損失函式在訓練集上期望（偏差）最小。損失函式若是迴歸則常取最小平方誤差和絕對值誤差；如果是迴歸則採用類似Logister的似然函式，屬於指數損失函式。首先從常函式F0(x)開始

以貪心演算法的思路擴充套件得到Fm(x)

這要求在函式空間內的最優化問題，在每次選擇最優基函式時十分困難，這裡使用梯度下降的方法近似計算（涉及到泛函分析，可以把f當做變數x，來類比求梯度的過程）。

這裡是將樣本資料代入基函式f(x)得到f(x1)、f(x2)...f(xn)，那麼損失函式L(y，x)退化為向量L(y，f(x1))、L(y，f(x2))...L(y，f(xn))。為了求步長γ，使用線性搜尋求最優步長：

求最優步長也是隨著一次次迭代進行下去的，先計算偽殘差（這個概念不懂）

使用資料計算擬合殘差的基函式fm(x)，接下來就可以計算出最優步長了（屬於一維優化問題？）

從而得到更新的模型

綜上，整個過程通過階段性的加性擴充套件和梯度下降手段，將函式估計轉化為引數估計，來進行最優化求解（涉及到泛函分析力的一些知識，還不是特別清楚，等以後補上吧）。

GBDT，Gradient Boosting Decision Tree是指梯度上升決策樹，裡面的基函式自然就是決策樹了（尤其是CART）。其中的主要過程和前面介紹的提升演算法差不多，在第m步迭代中根據偽殘差計算決策樹tm(x)，

假設該決策樹葉子節點數目為J，也就是把輸入空間劃分為J個不相交的區域，...，式子中的是樣本所在區域的預測值，I(x)是示性符號。得到第m步的分類器

其中的最優步長γm由線性搜尋計算出來

更進一步，對樹的每個區域分佈計算步長，從而係數被合併到步長中（還不懂怎麼操作的）

Xgboost基本的原理與上面推導的類似，但是有對目標函式taylor展開利用其二階導的資訊（GBDT只使用了一階導去擬合）。設目標函式如下

利用Taylor展開式

令損失函式的一階導和二階導為

則目標函式展開為

現在對目標函式化簡

這裡的權值w是指每個葉節點的權值，樣本落在葉節點q中，則定義f為。一個決策樹的核心是葉子權值和樹結構，專案這個式子中，w即為權值，q即為樹結構（即最終哪個樣本落在哪個葉子節點上的結構）

上式子中，決策樹的複雜度可考慮葉子結點數和葉權值，可以將正則懲罰項定義為（這種不是唯一的）

對於上面已經化簡的式子，為了繼續化簡，我們定義

目標函式變為

對w求偏導

回代到原式子

這樣我們只要列舉樣本集中的可分點，選擇增益最大的劃分，來構建決策樹。

 GBDT和Xgboost比較，GBDT一般以CART為基分類器，而Xgboost還可以支援LR等現行分類器，這些分類器本身就是帶著L1和L2正則化懲罰項的 。GBDT是通過對樹進行正則化技術來降低過擬合風險，如剪枝等減少葉節點、限制樹層數的措施；而Xgboost是在目標函式中加入正則化項（包含了葉節點數和葉權值）來控制模型複雜度。Xgboost還借鑑隨機森林，支援列抽樣，可以降低過擬合風險。另外Xgboost雖然是串聯的模型，但是在計算時是可以並行進行的，大大提高了計算速率。

下面列出各整合演算法的優缺點。這裡RF算是屬於Bagging，其他三個屬於Boosting，其中Adaboost屬於傳統範疇，而GBDT和Xgboost則與傳統boosting有較大區別（算是GB演算法吧），GB的每一輪迭代都是為了減少殘差，是在殘差減小的方向上建立的模型。

Bagging主要關注降低方差，因此它在不剪枝的決策樹、神經網路等學習器上效用更為明顯；Boosting主要關注降低偏差，因此Boosting能基於泛化效能相當弱的學習器構建出很強的整合。

方差度量了同等大小的訓練集的變動導致學習效能的變化，刻畫了資料擾動所導致的影響；偏差指的是演算法的期望預測與真實預測之間的偏差程度，反應了模型本身的擬合能力。