1. 程式人生 > >模型選擇與調優

模型選擇與調優

模型選擇,請看sklearn經典的這張圖:


模型選擇:

交叉驗證:交叉驗證集做引數/模型選擇;測試集製作模型效果評估。

超引數選擇:交叉驗證選取

sklearn.grid_search.GridSearchCV

不同模型狀態處理:

過擬合:找更多的資料來學習;增大正則化係數;減少特徵個數;

欠擬合:找更多特徵;減小正則化係數。

模型融合:

1、bagging,隨機森林(分類:vote;迴歸:取平均)

2、模型stacking(用多種predictor結果作為特徵訓練)

3、漸進式adaboost/gradient boosting tree