1. 程式人生 > >機器學習入門之線性迴歸演算法推導

機器學習入門之線性迴歸演算法推導

心血來潮,想將所學到的知識寫篇部落格,筆者所研究的方向為機器學習,剛學習的時候,走了很多彎路,看的書不少,在推導機器學習一些演算法時候遇到了不少困難,查了不少資料,在剛才學的時候,有很多公式推導起來很困難,或者說大多數人都會遇到這樣的問題,本部落格目的就是解決在機器學習公式推導過程中遇到的問題。 關於機器學習的參考書,周志華的機器學習,李航的統計學習方法,及國外的PRML都是不錯的閱讀材料。還有Andrew Ng的網上課程。相關連結在本部落格最後。 本部落格以周志華機器學習為背景,在閱讀中,不斷丟擲疑問,然後在部落格中一一解答。

一. 線性模型及其核化

1.1 線性模型

這裡寫圖片描述


這裡寫圖片描述

解答

1.為什麼要用均方誤差呢?
這裡寫圖片描述
這裡寫圖片描述

2.公式3.10的推導。
這裡寫圖片描述
這裡寫圖片描述

3.當X^TX不是滿秩的情況下,w如何確定
這裡寫圖片描述

4.怎麼樣去核化
這裡寫圖片描述

下面為大家共享出一些資料。

參考資料:

[1] 機器學習周志華

[2] 矩陣分析與應用

[3] 統計學習方法

[4] 機器學習導論

https://pan.baidu.com/s/1c0Jo8e 密碼:41ib