1. 程式人生 > >Adaboost/Xgboost學習及實踐

Adaboost/Xgboost學習及實踐

這次介紹的Xgboost演算法和被評選的AdaBoost都屬於Boosting演算法,而Boosting演算法屬於整合學習的一種方法。整合學習(ensemble learning)是目前非常火的機器學習方法[2,3]。它本身不是一個單獨的機器學習演算法,而是通過構建並結合多個機器學習器來完成學習任務。也就是我們常說的“博採眾長”。整合學習可以用於分類問題整合,迴歸問題整合,特徵選取整合,異常點檢測整合等等,可以說所有的機器學習領域都可以看到整合學習的身影。整合學習中,同一型別的個體學習器整合是“同質”的,同質整合的個體學習器也叫基學習器(base learner)。整合包含不同型別的個體學習器,例如包含神經網路和決策樹等,這樣的整合就是“異質”的。異質整合的個體學習器由不同的學習演算法生成,這時就不再有基學習演算法;個體學習器也被稱為“元件學習器”或直接叫個體學習器。