1. 程式人生 > >整合學習(Boosting,Bagging和隨機森林)

整合學習(Boosting,Bagging和隨機森林)

  • Bagging是並行式整合學習代表方法。基於“自助取樣法”(bootstrap sampling)。自助取樣法機制:給定包含m個樣本的資料集,我們先隨機取出一個樣本放入取樣集中,再把該樣本放回初始資料集,使得下一次取樣時該樣本還會被採到。這樣,經過m次樣本採集,我們得到包含m個樣本的取樣集。取樣集中,有的樣本出現過很多次,有的沒有出現過。Bagging機制:我們取樣出T個含m個樣本的取樣集。然後基於每個取樣集訓練出一個學習器,再將學習器進行結合。對分類任務使用投票法,對迴歸任務採用平均值法。