最近開始閱讀李航老師的經典著作《統計學習方法》，現將其中自認為較為重要的點寫出來，一個是作為回憶複習，二一個是希望能夠分享給更多人。第一次寫部落格，如有錯誤，希望多包涵。

   第一章統計學習方法概論

    個人認為第一章主要介紹的是機器學習中一些最為基本的概念和重要的要素，比方說監督學習，假設空間，損失函式，風險函式（期望風險），經驗風險，結構風險，正則化，過擬合，泛化誤差這些概念。非常好理解，而且只用一些比較簡單的數學表示，從字面上到數學公式可以構建一個比較直觀的聯絡。

下面給出學習之後我個人覺得很重要的三個推導

一 由經驗風險最小化推導極大似然估：

二 由結構風險最小化推導最大後驗概率：

三 證明二類分類問題的泛化誤差上界：

無限個函式的情況沒有討論。

問題一：書上說當模型是條件概率分佈，損失函式是對數損失函式，結構風險最小化就等價於MAP，但是上面給出了損失函式是平方損失函式，結果也是結構風險最小化。也就是似然概率服從高斯分佈時的推導。

問題二：推導泛化誤差上界過程中那個N，是如何從分子跑到分母的，還有就是hoeffding不等式給的是隨機變數之和，怎麼帶成期望風險和經驗風險的？那個1/N那裡去了？是不等式左邊那個N嗎？