2. 程式人生 > >scikit-learn中交叉驗證及其用於引數選擇、模型選擇、特徵選擇的例子

scikit-learn中交叉驗證及其用於引數選擇、模型選擇、特徵選擇的例子

阿新 • • 發佈：2019-01-09

內容概要

  • 訓練集/測試集分割用於模型驗證的缺點
  • K折交叉驗證是如何克服之前的不足
  • 交叉驗證如何用於選擇調節引數、選擇模型、選擇特徵
  • 改善交叉驗證

1. 模型驗證回顧

進行模型驗證的一個重要目的是要選出一個最合適的模型，對於監督學習而言，我們希望模型對於未知資料的泛化能力強，所以就需要模型驗證這一過程來體現不同的模型對於未知資料的表現效果。
最先我們用訓練準確度（用全部資料進行訓練和測試）來衡量模型的表現，這種方法會導致模型過擬合；為了解決這一問題，我們將所有資料分成訓練集和測試集兩部分，我們用訓練集進行模型訓練，得到的模型再用測試集來衡量模型的預測表現能力，這種度量方式叫測試準確度，這種方式可以有效避免過擬合。
測試準確度的一個缺點

是其樣本準確度是一個高方差估計（high variance estimate），所以該樣本準確度會依賴不同的測試集，其表現效果不盡相同。

高方差估計的例子

下面我們使用iris資料來說明利用測試準確度來衡量模型表現的方差很高。

from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn import metrics
# read in the iris data
 

iris = load_iris()

X = iris.data
y = iris.target
for i in range(1,5):
    print ("random_state is ", i,", and accuracy score is:")
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=i)

    knn = KNeighborsClassifier(n_neighbors=5)
    knn.fit(X_train, y_train)
    y_pred = knn.predict(X_test)
    print
 
 (metrics.accuracy_score(y_test, y_pred))
random_state is  1 , and accuracy score is:
1.0
random_state is  2 , and accuracy score is:
1.0
random_state is  3 , and accuracy score is:
0.947368421053
random_state is  4 , and accuracy score is:
0.973684210526

上面的測試準確率可以看出，不同的訓練集、測試集分割的方法導致其準確率不同，而交叉驗證的基本思想是：將資料集進行一系列分割，生成一組不同的訓練測試集，然後分別訓練模型並計算測試準確率，最後對結果進行平均處理。這樣來有效降低測試準確率的差異。

2. K折交叉驗證

  1. 將資料集平均分割成K個等份
  2. 使用1份資料作為測試資料，其餘作為訓練資料
  3. 計算測試準確率
  4. 使用不同的測試集，重複2、3步驟
  5. 對測試準確率做平均，作為對未知資料預測準確率的估計
    這裡寫圖片描述
# 下面程式碼演示了K-fold交叉驗證是如何進行資料分割的
# simulate splitting a dataset of 25 observations into 5 folds
from sklearn.cross_validation import KFold
kf = KFold(25, n_folds=5, shuffle=False)

# print the contents of each training and testing set
print ('{} {:^61} {}'.format('Iteration', 'Training set observations', 'Testing set observations'))
for iteration, data in enumerate(kf, start=1):
    print ('{:^9} {} {:^25}'.format(iteration, str(data[0]), str(data[1])))
Iteration                   Training set observations                   Testing set observations
    1     [ 5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24]        [0 1 2 3 4]       
    2     [ 0  1  2  3  4 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24]        [5 6 7 8 9]       
    3     [ 0  1  2  3  4  5  6  7  8  9 15 16 17 18 19 20 21 22 23 24]     [10 11 12 13 14]     
    4     [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 20 21 22 23 24]     [15 16 17 18 19]     
    5     [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]     [20 21 22 23 24]

3. 使用交叉驗證的建議

  1. K=10是一個一般的建議
  2. 如果對於分類問題，應該使用分層抽樣（stratified sampling）來生成資料，保證正負例的比例在訓練集和測試集中的比例相同

4. 交叉驗證的例子

4.1 用於調節引數

交叉驗證的方法可以幫助我們進行調參，最終得到一組最佳的模型引數。下面的例子我們依然使用iris資料和KNN模型，通過調節引數，得到一組最佳的引數使得測試資料的準確率和泛化能力最佳。

from sklearn.cross_validation import cross_val_score
knn = KNeighborsClassifier(n_neighbors=5)
# 這裡的cross_val_score將交叉驗證的整個過程連線起來，不用再進行手動的分割資料
# cv引數用於規定將原始資料分成多少份
scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')
print (scores)
[ 1.          0.93333333  1.          1.          0.86666667  0.93333333
  0.93333333  1.          1.          1.        ]
# use average accuracy as an estimate of out-of-sample accuracy
# 對十次迭代計算平均的測試準確率
print (scores.mean())
0.966666666667
# search for an optimal value of K for KNN model
k_range = range(1,31)
k_scores = []
for k in k_range:
    knn = KNeighborsClassifier(n_neighbors=k)
    scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')
    k_scores.append(scores.mean())

print (k_scores)
[0.95999999999999996, 0.95333333333333337, 0.96666666666666656, 0.96666666666666656, 0.96666666666666679, 0.96666666666666679, 0.96666666666666679, 0.96666666666666679, 0.97333333333333338, 0.96666666666666679, 0.96666666666666679, 0.97333333333333338, 0.98000000000000009, 0.97333333333333338, 0.97333333333333338, 0.97333333333333338, 0.97333333333333338, 0.98000000000000009, 0.97333333333333338, 0.98000000000000009, 0.96666666666666656, 0.96666666666666656, 0.97333333333333338, 0.95999999999999996, 0.96666666666666656, 0.95999999999999996, 0.96666666666666656, 0.95333333333333337, 0.95333333333333337, 0.95333333333333337]
import matplotlib.pyplot as plt
#matplotlib inline
plt.plot(k_range, k_scores)
plt.xlabel("Value of K for KNN")
plt.ylabel("Cross validated accuracy")
plt.show()

這裡寫圖片描述
上面的例子顯示了偏置-方差的折中，K較小的情況時偏置較低，方差較高；K較高的情況時，偏置較高，方差較低；最佳的模型引數取在中間位置，該情況下，使得偏置和方差得以平衡，模型針對於非樣本資料的泛化能力是最佳的。

4.2 用於模型選擇

交叉驗證也可以幫助我們進行模型選擇，以下是一組例子，分別使用iris資料，KNN和logistic迴歸模型進行模型的比較和選擇。

# 10-fold cross-validation with the best KNN model
knn = KNeighborsClassifier(n_neighbors=20)
print (cross_val_score(knn, X, y, cv=10, scoring='accuracy').mean())
0.98
# 10-fold cross-validation with logistic regression
from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
print (cross_val_score(logreg, X, y, cv=10, scoring='accuracy').mean())
0.953333333333

4.3 用於特徵選擇

下面我們使用advertising資料，通過交叉驗證來進行特徵的選擇，對比不同的特徵組合對於模型的預測效果。

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
# read in the advertising dataset
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
# create a Python list of three feature names
feature_cols = ['TV', 'radio', 'newspaper']

# use the list to select a subset of the DataFrame (X)
X = data[feature_cols]

# select the Sales column as the response (y)
y = data.sales
# 10-fold cv with all features
lm = LinearRegression()
scores = cross_val_score(lm, X, y, cv=10, scoring='mean_squared_error')
print (scores)
[-3.56038438 -3.29767522 -2.08943356 -2.82474283 -1.3027754  -1.74163618
 -8.17338214 -2.11409746 -3.04273109 -2.45281793]

這裡要注意的是，上面的scores都是負數，為什麼均方誤差會出現負數的情況呢？因為這裡的mean_squared_error是一種損失函式，優化的目標的使其最小化，而分類準確率是一種獎勵函式，優化的目標是使其最大化。

# fix the sign of MSE scores
mse_scores = -scores
print (mse_scores)
[ 3.56038438  3.29767522  2.08943356  2.82474283  1.3027754   1.74163618
  8.17338214  2.11409746  3.04273109  2.45281793]
# convert from MSE to RMSE
rmse_scores = np.sqrt(mse_scores)
print (rmse_scores)
[ 1.88689808  1.81595022  1.44548731  1.68069713  1.14139187  1.31971064
  2.85891276  1.45399362  1.7443426   1.56614748]
# calculate the average RMSE
print (rmse_scores.mean())
1.69135317081
# 10-fold cross-validation with two features (excluding Newspaper)
feature_cols = ['TV', 'Radio']
X = data[feature_cols]
print np.sqrt(-cross_val_score(lm, X, y, cv=10, scoring='mean_squared_error')).mean()
1.67967484191

由於不加入Newspaper這一個特徵得到的分數較小（1.68 < 1.69），所以，使用所有特徵得到的模型是一個更好的模型。

相關推薦

scikit-learn中交叉驗證及其用於引數選擇、模型選擇、特徵選擇的例子

內容概要 訓練集/測試集分割用於模型驗證的缺點 K折交叉驗證是如何克服之前的不足 交叉驗證如何用於選擇調節引數、選擇模型、選擇特徵 改善交叉驗證 1. 模型驗證回顧 進行模型驗證的一個重要目的是要選出一個最合適的模型，對於監督學習而言，我們希望模型

【scikit-learn】交叉驗證及其用於引數選擇、模型選擇、特徵選擇的例子

[0.95999999999999996, 0.95333333333333337, 0.96666666666666656, 0.96666666666666656, 0.96666666666666679, 0.96666666666666679, 0.96666666666666679, 0.9666

scikit-learn中評價指標

style 說明 回歸 對比 kit 擬合 size 例如 因變量 一、R2 決定系數（擬合優度） 它是表征回歸方程在多大程度上解釋了因變量的變化，或者說方程對觀測值的擬合程度如何。 因為如果單純用殘差平方和會受到你因變量和自變量絕對值大小的影響，不利於在不同模型之間進

交叉驗證及其目的

數據集 準確率 及其 結果 nbsp 常用 模型 方式 ros 首先，為什麽要交叉驗證：目的有兩個： 1.選擇合適的模型 2.選擇合適的參數 1.對於一個問題，可以用模型m1，m2，不知道哪個的準確率高，可以交叉驗證一下，從而選擇用哪個 2.對於一個模型，參數的選擇會影響結

k-means+python︱scikit-learn中的KMeans聚類實現( + MiniBatchKMeans)

CP lan sina QQ mmx 機制 意義 預測 內容 之前一直用R，現在開始學python之後就來嘗試用Python來實現Kmeans。 之前用R來實現kmeans的博客：筆記︱多種常見聚類模型以及分群質量評估（聚類註意事項、使用技巧） 聚類分析在客戶

機器學習：SVM（scikit-learn 中的 RBF、RBF 中的超參數 γ）

import colors 機器 class 核函數 RoCE caf 情況 方差 一、高斯核函數、高斯函數 μ：期望值，均值，樣本平均數；（決定告訴函數中心軸的位置：x = μ） σ2：方差；（度量隨機樣本和平均值之間的偏離程度：， 為總體方差， 為變量， 為總體

機器學習之模型選擇（K折交叉驗證，超引數的選擇）

來源： https://www.cnblogs.com/jerrylead/archive/2011/03/27/1996799.html   對於解決同一個問題，如怎麼選擇模型去擬合線性迴歸中只有一個特徵時房價預測問題，如可能有不同的模型去解決，如： 1、d = 1，h（

scikit-learn 中KNN分類繪圖

scikit-learn 中KNN分類繪圖 參考連結： KNN相關的類庫概述： https://www.cnblogs.com/pinard/p/6065607.html 下載的toy資料集： https://blog.csdn.net/sa14023053/a

scikit-learn中的KMeans聚類實現

在這篇文章中： 之前一直用R，現在開始學python之後就來嘗試用Python來實現Kmeans。 之前用R來實現kmeans的部落格：筆記︱多種常見聚類模型以及分群質量評估（聚類注意事項、使用技巧） 聚類分析在客戶細分中極為重要。有三類比較常見的聚類模型，K-mea

機器學習---scikit-learn中KNN演算法的封裝

1，工具準備，python環境，pycharm 2，在機器學習中，KNN是不需要訓練過程的演算法，也就是說，輸入樣例可以直接呼叫predict預測結果，訓練資料集就是模型。當然這裡必須將訓練資料和訓練標籤進行擬合才能形成模型。 3 3，在pycharm中建立新的專案工程

scikit-learn中KNN演算法資料歸一化的分裝

import numpy as np class StandardScaler: def __init__(self): """初始化""" """用符號和下劃線表示非使用者傳入的引數""" self.mean_ =

scikit-learn中的歸一化、標準化處理

什麼是歸一化： 歸一化就是把一組數（大於1）化為以1為最大值，0為最小值，其餘資料按百分比計算的方法。如：1，2，3.，那歸一化後就是：0，0.5，1 歸一化步驟： 如：2，4，6 （1）找出一組數裡的最小值和最大值，然後就算最大值和最小值的差值 min = 2；  m

scikit-learn中gridSearchCV的使用

步驟： 1.選擇並構建訓練模型model 2.將訓練模型model投入到GridSearchCV中，得到GridSearchCV模型grid_model 3.用grid_model擬合訓練集資料，選擇在validation_dataset上效果最好的引數的模型best_

Sklearn流水線交叉驗證以及超引數網格交叉評估基礎案例實戰-大資料ML樣本集案例實戰

版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：[email protected]，如有任何技術交流，可隨時聯絡。 1 基本資料探索 import pand

scikit-learn中的Lasson迴歸和Elastic Net迴歸

>>> from sklearn import linear_model >>> reg = linear_model.Lasso(alpha = 0.1) >>> reg.fit([[0, 0], [1, 1]], [0, 1]) Lasso(alph

scikit-learn中的SVM使用指南

本文主要包括以下內容： 1、 sklearn三個SVM分類器（sklearn.svm.LinearSVC，sklearn.svm.SVC，sklearn.svm.NuSVC）的引數詳解 2、SVM演算法調優的一些建議 3、實驗 sklearn.sv

scikit-learn中的多層感知器呼叫模型輸出資料型別為float出現Unknown label type: 'unknown'

受下面截圖的啟發，說的意思好像是輸出型別必須是絕對的（categorical），train_y後加上astype(‘int’)即可，fit(train_x,train_y.astype(‘int’))，但是不能試astype('float')，用這個還是會報錯，具體原因我不清楚，解決方法就是把輸出資

scikit-learn中關於SVM的一些常識

一 . 支援向量機的優缺點分析 支援向量機（SVMs）是一個監督學習演算法集，可以用來進行分類、迴歸以及異常值檢測等任務。 這種演算法的優點有： （1）在高維空間中效率非常高； （2）對於維數大於樣本數目的情況也很有效； （3）在決策函式（待優化的函式）中，只有部分訓練樣本

模型調優：交叉驗證，超引數搜尋(複習17)

用模型在測試集上進行效能評估前，通常是希望儘可能利用手頭現有的資料對模型進行調優，甚至可以粗略地估計測試結果。通常，對現有資料進行取樣分割：一部分資料用於模型引數訓練，即訓練集；一部分資料用於調優模型配

Flask框架(flask中的資料庫SQLAlchemy(python3)，配置、模型類、建立表)

1.  SQLAlchemy是一個關係型資料庫框架，      它提供了高層的ORM和底層的原生資料庫的操作。       flask-sqlalchemy是一個簡化了SQLAlchemy操作的flask擴充套