1.交叉驗證

交叉驗證是一種評估統計分析、機器學習演算法對獨立於訓練資料的資料集的泛化能力（generalize）。

2.訓練集，驗證集（注意區別交叉驗證資料集），測試集

一般做預測分析時，會將資料分為兩大部分。一部分是訓練資料，用於構建模型，一部分是測試資料，用於檢驗模型。但是，有時候模型的構建過程中也需要檢驗模型，輔助模型構建，所以會將訓練資料在分為兩個部分：1）訓練資料；2）驗證資料（Validation Data）。驗證資料用於負責模型的構建。典型的例子是用K-Fold Cross Validation裁剪決策樹，求出最優葉節點數，防止過渡擬合（Overfitting）。
所以：
訓練資料（Test Data）：用於模型構建
驗證資料（Validation Data）：可選，用於輔助模型構建，可以重複使用。
測試資料（Test Data）：用於檢測模型構建，此資料只在模型檢驗時使用，用於評估模型的準確率。絕對不允許用於模型構建過程，否則會導致過渡擬合。

驗證集用於進一步網路調參， 而測試集只是用於評估模型的精確度。

3.K次交叉檢驗（K-Fold Cross Validation）

K次交叉檢驗的大致思想是將資料大致分為K個子樣本，每次取一個樣本作為驗證資料，取餘下的K-1個樣本作為訓練資料。模型構建後作用於驗證資料上，計算出當前錯誤率。重複K次，將K次錯誤率平均，得到一個總體的錯誤率。可以通過整體錯誤率，估計當前整體資料用於建模的錯誤率。

舉個例子，K = 10（常見情況），求出總體錯誤率為8.7%。那麼將當前的所有資料全部作為訓練資料，得到的模型的錯誤率90%的可能在9.7%左右。

驗證機與測試集的區別

驗證資料集（validation dataset）是模型訓練過程中留出的樣本集，它可以用於調整模型的超引數和評估模型的能力。但測試資料集（test dataset）不同，雖然同是模型訓練過程中留出的樣本集，但它是用於評估最終模型的效能，幫助對比多個最終模型並做出選擇。

很可能你再也不會在應用機器學習中看到訓練資料集、驗證資料集和測試資料集。

當實踐者選擇在訓練資料集中使用 k-折交叉驗證方法調整模型超引數時，「驗證集」的概念就已經淡化了。

http://www.infosec-wiki.com/?p=309393

https://machinelearningmastery.com/difference-test-validation-datasets/