機器學習資料探勘之資料集劃分： 訓練集 驗證集 測試集

Q：將資料集劃分為測試資料集和訓練資料集的常用套路是什麼呢？

A：three ways shown as follow:


1.像sklearn一樣，提供一個將資料集切分成訓練集和測試集的函式：
預設是把資料集的75%作為訓練集，把資料集的25%作為測試集。


2.交叉驗證（一般取十折交叉驗證：10-fold cross validation）
k個子集，每個子集均做一次測試集，其餘的作為訓練集。
交叉驗證重複k次，每次選擇一個子集作為測試集，並將k次的平均交叉驗證識別正確率作為結果。




3.訓練資料，驗證資料（注意區別交叉驗證資料集），測試資料（在Coursera上提到）

一般做預測分析時，會將資料分為兩大部分。一部分是訓練資料，用於構建模型，一部分是測試資料，用於檢驗模型。但是，有時候模型的構建過程中也需要檢驗模型，輔助模型構建，所以會將訓練資料在分為兩個部分：1）訓練資料；2）驗證資料（Validation Data）。驗證資料用於負責模型的構建。典型的例子是用K-Fold Cross Validation裁剪決策樹，求出最優葉節點數，防止過渡擬合（Overfitting）。
所以：
訓練資料（Test Data）：用於模型構建
驗證資料（Validation Data）：可選，用於輔助模型構建，可以重複使用。
測試資料（Test Data）：用於檢測模型構建，此資料只在模型檢驗時使用，用於評估模型的準確率。絕對不允許用於模型構建過程，否則會導致過渡擬合。




references

http://www.cnblogs.com/bourneli/archive/2013/03/11/2954060.html
http://blog.csdn.net/lhx878619717/article/details/49079785
http://blog.csdn.net/chloezhao/article/details/53502674
https://segmentfault.com/q/1010000005917400