機器學習--最小二乘法和加權線性迴歸
本文是對由Stanford大學Andrew Ng講授的機器學習課程進行個人心得總結。
在上一篇文章裡我們討論了關於線性迴歸和梯度下降的相關知識,本文主要是接著該篇文章的內容繼續深入的討論線性迴歸中存在的兩個優化點,最小二乘法和加權線性迴歸。
最小二乘法
最小二乘法是從之前的梯度下降方法中優化而來。當我們計算梯度下降時,需要通過迭代的方式不停地計算
(注:梯度下降的公式為
最小二乘法是利用矩陣計算對該過程進行優化,其在計算結果的過程中省去了迭代的步驟,故可以較為快速的計算得到最終
陣運算的規則:
我們定義一個函式
那麼之前的梯度下降公式可以表示為:
假設函式
另外 如果
以下是可以推論並且證明的公式:
注 以上公式主要利用了矩陣計算的一些知識,之後會用於矩陣的變換計算,相關證明參見該連結。
這是我們將所有訓練集寫入一個矩陣
相關推薦
no