1 最小二乘法相關理論

我們先從最基本但很典型的線性迴歸演算法之最小二乘法說起吧,它背後的假設和原理您瞭解嗎?本系列帶來細細體會OLS這個演算法涉及的相關理論和演算法。

參考推送:

似然函式求權重引數

似然函式的確是求解類似問題的常用解決方法,包括以後的解決其他模型的引數,也有可能用到似然函式。

如果對似然函式無感覺,那麼也請看一下下面的訊息推送:

在以上求解過程中做了一個 Xt * X不能為奇異矩陣的假定,再加上之前的誤差分佈必須滿足某種分佈這個假定,所以最小二乘法直接求解得滿足兩個假定。

以上我們通過數學的方法,藉助似然函式,然後求似然函式對數的極大似然估計,直接把引數求出來了,這是必然?還是巧合?

機器學習的引數一般是不能通過直接求解得出的,所以很明顯是個巧合啊!

那麼如果不想用這種巧合的方法去求解,有沒有更加通用的方法,來求解最小二乘項的極小值呢?

請關注明天的推送,用梯度下降法求最小二乘項的極小值,謝謝您的關注!

<演算法channel>

這裡寫圖片描述