第1章

1.4歸納偏好

學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。

對於上面這句話：你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分佈和你的處理方法相符嗎？

沒有免費的午餐定理

也可以說是沒有放之四海皆準的演算法。針對不同的問題要有不同的模型與引數。比如人臉識別就得用metric learning，你用svm那根本沒法給標籤。

以及這兩句是一個意思。。。

第2章

2.1經驗誤差與過擬合

訓練誤差training error empirical error，訓練資料的error，泛化誤差，generalization error。

一般都用 training error做引數訓練，模型建立，根據訓練資料的error而優化模型。而test error 就是我們用來評判模型好壞的標準了。

over fitting underfitting

overfitting把training 樣本的特點當作該類的特點，會把本來是本類的分為其他。underfitting特點提取的不夠，會把其他有本類一些特點的物品認為是本類。