2.1經驗誤差與過擬合

錯誤率（error rate）：分類錯誤的樣本數佔樣本總數的比例

精度（accuracy）：1-錯誤率

誤差（error）：實際預測輸出與樣本的真實輸出之間的差異

訓練誤差/經驗誤差：在訓練集上的誤差

測試誤差/泛化誤差：在新樣本的誤差

過擬合：學習時選擇的模型包含的引數過多，對已知資料預測的很好，但對未知資料預測的很差，即泛化能力很差。

產生過擬合的原因：學習能力強大。

過擬合無法徹底避免，只能採取措施緩解，或者說減小其風險。

2.2評估方法

對資料集D進行適當處理，產生訓練集S和測試集T。

2.2.1留出法（hold-out）

將資料集D劃分為兩個互斥的集合，儘可能保持資料分佈的一致性。

2.2.2交叉驗證法（cross validation）

將資料集D劃分為k個大小相似的互斥子集，每次用k-1個子集的並集作為訓練集，餘下的那個子集作為測試集。

2.2.3自助法（bootstrapping）

2.2.4調參（parameter tuning）

演算法的引數，稱為超引數，10個以內；模型的引數，數目很多。

2.3效能度量（performance measure）

評估學習器f的效能，把學習器預測結果f(x)與真實標記y進行比較。

迴歸任務，最常用的是均方誤差。

分類任務，常見的如下：

2.3.1錯誤率與精度

2.3.2查準率與查全率

查準率，又稱精確率，presion，用P表示，精確率是針對我們預測結果而言的，它表示的是預測為正的樣本中有多少是真正的正樣本。那麼預測為正就有兩種可能了，一種就是把正類預測為正類(TP)，另一種就是把負類預測為正類(FP)，也就是（你的預測有多少是對的）

查全率，又稱召回率，recall，用R表示，召回率是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被預測正確了。那也有兩種可能，一種是把原來的正類預測成正類(TP)，另一種就是把原來的正類預測為負類(FN)。（正例裡你的預測覆蓋了多少）

PR曲線，平衡點BEP

2.5偏差與方差

泛化誤差可以分解為偏差、方差、噪聲之和。

偏差刻畫了學習演算法本身的擬合能力；方差刻畫了資料擾動所造成的影響；噪聲刻畫了學習問題本身的難度。