1. 程式人生 > >機器學習之模型選擇(K折交叉驗證,超引數的選擇)

機器學習之模型選擇(K折交叉驗證,超引數的選擇)

來源:

https://www.cnblogs.com/jerrylead/archive/2011/03/27/1996799.html

 

對於解決同一個問題,如怎麼選擇模型去擬合線性迴歸中只有一個特徵時房價預測問題,如可能有不同的模型去解決,如:

1、d = 1,h(θ) = θ0+θ1x

2、d = 2,h(θ) = θ0+θ1x+θ2x^2

3、d = 3,h(θ) = θ0+θ1x+θ2x^2+θ2x^3

4、d = 4,h(θ) = θ0+θ1……

5、d = 5,h(θ) = θ0+θ12……

6、d = 6,h(θ) = θ0+θ1……

7、d = 7,h(θ) = θ0+θ1……

8、d = 8,h(θ) = θ0+θ1……

9、d = 8,h(θ) = θ0+θ1……

10、d = 10,h(θ) = θ0+θ1x+……+θ10x^10

其中d為x的平方數,這時,d就為超引數,而對於這十個模型我們該怎麼去選擇呢,這就涉及到交叉驗證,這裡我們只談最常用到的方法:k折交叉驗證。

對於個分類或迴歸問題,假設可選的模型為。k-摺疊交叉驗證就是將訓練集的1/k作為測試集,每個模型訓練k次,測試k次,錯誤率為k次的平均,最終選擇平均率最小的模型Mi。