整合學習，adaboosting與Gradient Boosting 原理解析

姓名：Jyx
班級：csdn人工智慧直通車-5期
描述：這是本人在學習人工智慧時的學習筆記，加深理解

整合學習

整合學習將各種不同的學習器聯合起來，以期提高總體的預測效果。為發掘各個學習器的優點，需要一套專門的方案來進行聯合。
1. 幾何平均。將各個分類器的預測結果進行幾何平均。其基本原理是使聯合後的概率與各個學習器預測的概率的KL距離最小化
2. 算術平均。將各個分類器的預測結果進行算術平均
3. 多數投票。

並沒有一般的規則來指導該選擇何種方式聯合學習器。另外，在特定的學習案例裡甚至可能出現聯合後的學習器比單個學習器中最好的還要差的情況

boosting

boosting 是一種特殊的整合學習方法。所有的‘基’分類器都是弱學習器，但通過採用特定的方式迭代，每次根據訓練過的學習器的預測效果來更新樣本權值，用於新的一輪學習，最終提高聯合後的學習效果

adaboosting

adaboosting的分類目標是

f (x) = s i g n (F (x)) w h e r e F (x) = \sum_{k = 1}^{K} α ϕ (x; θ_{k})

其損失定義如下

\begin{matrix} (1) & J (x) = \sum_{i = 1}^{N} e x p (- y_{i} F (x_{i})) \end{matrix}

adaboosting要求每個‘基’分類器返回二值標記，即

ϕ (x; θ) \in {- 1, 1}

，而且類別標記

y \in {- 1, 1}

。因此分類成功是的損失總是

e x p (- 1)

，失敗時的損失總是

e x p (1)

，所以失敗時有更多的懲罰，最小化損失即最大化成功率

adaboosting演算法

(1)式的優化是一個NPC問題。我們只能退而尋求次優的解法。實際操作中使用的是分段最優的搜尋方式，從第一個函式開始，每次新增一個函式，並優化此輪的目標。
我們定義

F_{m} (x) = F_{m - 1} (x) + α_{m} ϕ (x; θ_{m}) 显然有 F (x) = F_{K} (x)

在第m步，我們優化的目標

\begin{aligned} J_{m} (x) & = \sum_{i = 1}^{N} e x p (- y_{i} F_{m} (x_{i})) \\ = \sum_{i = 1}^{N} e x p (- y_{i} (F_{m - 1} (x_{i}) + α_{m} ϕ (x_{i}; θ_{m}))) \\ = \sum_{i = 1}^{N} w_{i}^{m} e x p (- y_{i} α_{m} ϕ (x_{i}; θ_{m})), w h e r e w_{i}^{m} = e x p (- y_{i} F_{m - 1} (x_{i})) \end{aligned}

整合學習，adaboosting與Gradient Boosting 原理解析

整合學習

boosting

adaboosting

adaboosting演算法

整合學習，adaboosting與Gradient Boosting 原理解析

整合學習(Ensemble Learning),Bagging、Boosting、Stacking

Mysql資料庫切換成Oracle資料庫，使用Mybatis+Oracle整合專案，Mysql與Oracle差別總結

整合學習，方差，偏差

大白話5分鐘帶你走進人工智慧-第31節整合學習之最通俗理解GBDT原理和過程

大白話5分鐘帶你走進人工智慧-第32節整合學習之最通俗理解XGBoost原理和過程

機器學習回顧篇（12）：整合學習之Bagging與隨機森林

DNS服務子域委派，授權解析，負載均衡等功能原理解析實驗（歡迎各位朋友蒞臨指教、討論）

http斷點續傳與檔案下載原理解析

整合學習之boosting，Adaboost、GBDT 和 xgboost（二）

整合學習之boosting，Adaboost、GBDT 和 xgboost（一）

整合學習之boosting，Adaboost、GBDT 和 xgboost（三）

《深入理解Spring Cloud與微服務構建》學習筆記(七)~SpringBoot 整合 Swagger2，搭建線上api文件

機器學習筆記之十一——整合學習之Boosting及AdaBoosting

機器學習：整合學習（ensemble)，bootstrap，Bagging，隨機森林，Boosting

機器學習sklearn19.0——整合學習——boosting與梯度提升演算法（GBDT）、Adaboost演算法

『機器學習筆記』GBDT原理-Gradient Boosting Decision Tree

機器學習筆記-整合學習之Bagging，Boosting，隨機森林三者特性對比

機器學習教程之 Boosting 與 bagging：整合學習框架

R: 學習Gradient Boosting演算法，提高預測模型準確率

整合學習，adaboosting與Gradient Boosting 原理解析

整合學習

boosting

adaboosting

adaboosting演算法

相關推薦