1. 程式人生 > >迴歸-普通最小二乘法(OLS)解析式推導

迴歸-普通最小二乘法(OLS)解析式推導

導語

    上一篇文章中解釋了最小二乘損失函式的由來,本篇將繼續向下推導,即係數W的推導。

前置知識

    裡面用到了幾個常見的與矩陣相關的求導公式

XθX=XT
θTXθT=XT
θTXθ=X
    關於上述公式的證明,這裡不再贅述,可以嚴格參考向量求導的公式進行推理

推導

    上篇文章中我們定義了損失函式為:

J(θ)=12i=1m(θTx(i)y(i))2
J(θ)=12(Xθy⃗ )T(Xθy⃗ )

X是樣本矩陣,y⃗ 是觀測值列向量

    我們將上述h(θ)拆開,得到:

J(θ)=12(θTXTXθθTX
T
y⃗ y⃗ TXθ+y⃗ Ty⃗ )

    由於h(θ)是凸函式,若要h(θ)取得極小值,則將其對θ求導,得到:
θJ(θ)=12(XTXθ+XTXθ2XTy⃗ )=XTXθXTy⃗ 
θJ(θ)=0,解得:
θ=(XTX)1XTy⃗ 
    至此,θ的解析式求出。在實踐中,XTX矩陣的逆通常並不好求,甚至根本不能求逆,一種辦法是使用嶺迴歸,加入λI來使其可逆,或者使用梯度下降的方法迭代求參,關於梯度下降將在下一篇文章中進行闡述。