線性迴歸的基函式模型

• y(x,w)=w0+w1x1+......+wDxD
  y(x,w)=w0+∑M−1j=1wjϕj(x)
  ϕj(x)：是基函數

• 基函式：多項式；高斯；sigmoid函式

• 基函式還可以是傅立葉基函式

最大似然與最小平方

• 誤差函式=高斯噪聲下的最大似然解
• 正則項是保證矩陣非奇異

順序學習(隨機梯度下降)

正則化最小平方

• ED(w)+λEW(w)；λ是正則化的系數

12∑Nn=1{tn−wTΦ(xn)2}+λ2∑Mj=1|wj|q

• q=1 （lasso）：套索，λ足夠大則系數為零，生成系數模型

多變數的輸出

偏置-方程折中

• 最大似然估計容易導致過擬合

貝葉斯線性迴歸

• 貝葉斯線性迴歸可以預防過擬合

貝葉斯模型的比較

• 假設多項式曲線的擬合問題，概率分佈由模型中的一個產生，但不知道是哪個，不確定性通過先驗概率表達p(Mi).給定訓練集D，

p(Mi|D)−>p(Mi)p(D|Mi)

• 先驗概率表示不同模型的優先順序
• p(D|Mi)是不同模型的優先級
• 貝葉斯因子=p(D|Mi)p(D|Mj)

預測分佈：p(t|x,D)=∑Li=1p(t|x,Mi,D)p(Mi|D)
1. 混合分佈
2. 各個模型的預測加權

模型近似

待續