迴歸-普通最小二乘法(OLS)解析式推導
阿新 • • 發佈:2019-02-15
導語
上一篇文章中解釋了最小二乘損失函式的由來,本篇將繼續向下推導,即係數
前置知識
裡面用到了幾個常見的與矩陣相關的求導公式
關於上述公式的證明,這裡不再贅述,可以嚴格參考向量求導的公式進行推理
推導
上篇文章中我們定義了損失函式為:
X是樣本矩陣,
y⃗ 是觀測值列向量
我們將上述
由於
令
至此,
上一篇文章中解釋了最小二乘損失函式的由來,本篇將繼續向下推導,即係數
裡面用到了幾個常見的與矩陣相關的求導公式
上篇文章中我們定義了損失函式為:
X是樣本矩陣,
y⃗ 是觀測值列向量
我們將上述