前言

在機器學習中，不可避免要接觸到訓練集，測試集以及檢驗集，這些資料集各有各的作用，為機器學習演算法的泛化保駕護航，這裡結合《Deep Learning》中的關於訓練集，測試集和檢驗集的討論，淺談所見所學。
如有謬誤，請聯絡指正。轉載請註明出處。
聯絡方式：
e-mail: [email protected]
QQ: 973926198
github: https://github.com/FesianXu

訓練集和測試集

　　機器學習模型需要訓練去更新模型中的各個引數，因此需要提供訓練集(Training Set)作為訓練樣本，假設此訓練集由資料生成分佈Pdata

檢驗集

超引數

　　在討論檢驗集之前，有必要先提到超引數(hyperparameter)這個概念。超引數不能或者難以通過機器學習演算法學習得出，一般由專家經過經驗或者實驗選定，如廣義線性迴歸中的多項式次數，控制權值衰減的λ等。容易想象到，不同的超引數選定控制了模型的容量和泛化能力，決定了模型的效能，事實上，超引數的除錯(Tuning of the hyperparameter)是機器學習中很關鍵的一部分。
　　這裡我們假想一個場景：

我們有多個待選的權值衰減因子λ,分別是λ1,⋯,λn，這些λ的不同選擇代表了一個模型的不同超引數狀態，其中有一個可能效能比較優的超引數，為了得到這個較為優的超引數，我們需要在多個[訓練集,測試集]元組上訓練測試，尋找最小的泛化誤差，直到找到合適的超引數為止。

　　由於監督資料的獲取困難，一般來說沒有那麼多資料用來劃分這個元組，因此一般的做法是：

將資料集按一定比例劃分為訓練集（大類）和測試集（Test set），其中測試集只在最後的測試泛化誤差的時候才能被模型觀察到，而在訓練集（大類）中又將其按一定比例劃分為訓練集(Training Set)和檢驗集(validation set)，其中訓練集用於模型訓練，檢驗集用於尋找最佳的超引數。一般模型會在訓練集上訓練多次，在檢驗集上檢驗多次，直到得到滿意的檢驗誤差，然後才能交給測試集得出泛化誤差。

交叉檢驗（Cross Validation）

　　在實際應用中，因為資料集的數量限制，常常採用交叉檢驗作為檢驗手段1，其中k折交叉檢驗(k-folds cross validation)最為常用，其中k=10最為常見。其方法十分簡單，就是將訓練集（大類）均分為K份，然後分別取出其中的第i個作為檢驗集，其餘的i−1作為訓練集訓練，然後再檢驗集上檢驗。進行了K次該操作之後，採用平均值作為最終的交叉驗證誤差（CV Error），用於選擇模型。

總結

　　在這篇文章裡，主要介紹了訓練集，檢驗集，測試集之間的關係，以及引進檢驗集的目的：就是為了多次比較，得出較好的超引數，進行模型選擇。

1. 當給定資料集D對於簡單的訓練/測試或訓練/驗證分割而言太小難以產生泛化誤差的準確估計時（因為在小的測試集上,L可能具有過高的方差)，常常採用交叉驗證。 ↩