1. 程式人生 > >機器學習線性迴歸中,用矩陣求導方法求最小二乘法的方法

機器學習線性迴歸中,用矩陣求導方法求最小二乘法的方法

在我們推導最小二乘法的時候,Andrew提供了兩種方法,一個是梯度下降法則,另一個是矩陣求導法則。後來在《機器學習實戰裡》面看線性迴歸程式碼的時候,裡面就是用了矩陣求導法則。要看懂矩陣求導法則,是需要一些矩陣論的知識的,還記得今年夏天我在苦逼地到處求矩陣論地速成資料,還真讓我找到了,名字叫《matrix+vector+derivatives+for+machine+learning》,這本書我已經上傳到我地資源庫,發現下載地人很少! 嘖嘖!這麼好地書!
下面我們重溫一下Andrew的最小二乘法推導,並把Andrew省略的推導部分(矩陣論的部分)給補全。
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
以上就是Andrew的證明,但是僅僅這樣的話,對於沒有基礎的同學來說是懵逼的,關鍵就在畫紅線的部分,那個是怎麼來的呢?
接下來就是矩陣論裡的一些基本概念,為這個證明做鋪墊的。
這裡寫圖片描述

這裡寫圖片描述
至於變數多次出現法則是什麼,請百度吧,很簡單的。
好了接著Andrew老師的證明

這裡寫圖片描述

證明完成!