1. 程式人生 > >【機器學習】AIC、BIC準則

【機器學習】AIC、BIC準則

選擇最優模型的指導思想是從兩個方面去考察:一個是似然函式最大化,另一個是模型中的未知引數個數最小化。似然函式值越大說明模型擬合的效果越好,但是我們不能單純地以擬合精度來衡量模型的優劣,這樣回導致模型中未知引數越來越多,模型變得越來越複雜,會造成過擬合。所以一個好的模型應該是擬合精度和未知引數個數的綜合最優化配置。

AIC準則

AIC準則是由日本統計學家Akaike與1973年提出的,全稱是最小化資訊量準則(Akaike Information Criterion)。它是擬合精度和引數個數的加權函式: 
AIC=2(模型引數的個數)-2ln(模型的極大似然函式)

BIC準則

AIC為模型選擇提供了有效的規則,但也有不足之處。當樣本容量很大時,在AIC準則中擬合誤差提供的資訊就要受到樣本容量的放大,而引數個數的懲罰因子卻和樣本容量沒關係(一直是2),因此當樣本容量很大時,使用AIC準則選擇的模型不收斂與真實模型,它通常比真實模型所含的未知引數個數要多。BIC(Bayesian InformationCriterion)貝葉斯資訊準則是Schwartz在1978年根據Bayes理論提出的判別準則,稱為SBC準則(也稱BIC),彌補了AIC的不足。SBC的定義為: 
BIC = ln(n)(模型中引數的個數) - 2ln(模型的極大似然函式值)

小結

在進行ARMA引數的選擇是,AIC準則和BIC準則的提出可以有效彌補根據自相關圖和偏自相關圖定階的主觀性,在有限的階數範圍內幫助我們尋找相對最優擬合模型