用Scikit-Learn（sklearn）建立模型

1 環境搭建

 Python 3+NumPy+Pandas+Scikit-Learn (sklearn)

2 匯入庫和模組

Numpy是比Python自身的巢狀列表（nested list structure)結構要高效的多的一種開源的數值計算擴充套件。NumPy（Numeric Python）提供了許多高階的數值程式設計工具，如：矩陣資料型別、向量處理，以及精密的運算庫。

Pandas（Python Data Analysis Library）是基於NumPy 的一種工具，該工具是為了解決資料分析任務而建立的。Pandas 納入了大量庫和一些標準的資料模型，提供了高效地操作大型資料集所需的工具。pandas提供了大量能使我們快速便捷地處理資料的函式和方法。

1. import numpy as np
2. import pandas as pd
4. from sklearn.model_selection import train_test_split
5. from sklearn import
   preprocessing
6. from sklearn.ensemble import RandomForestRegressor
7. from sklearn.pipeline import make_pipeline
8. from sklearn.model_selection import GridSearchCV
9. from sklearn.metrics import mean_squared_error,r2_score
10. from sklearn.externals import joblib

3  匯入紅酒資料

Pandas為我們提供了可以讀取來自CSV、SQL、SAS等格式的資料的方法

這裡我們用其中的read_csv( )方法，可以讀取任何CSV檔案，包括來自URL 的

1. dataset_url = 'http://mlr.cs.umass.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'
2. data = pd.read_csv(dataset_url)

4  把資料分解為訓練集和測試集

首先，我們將我們的目標特徵y與我們的輸入特徵X分開，然後我們利用Scikit-Learn的train_test_split函式

設定20%的資料作為測試資料

1. y = data.quality
2. X = data.drop( 'quality', axis= 1)
3. X_train, X_test, y_train, y_test = train_test_split(X, y,
4. test_size= 0.2,
5. random_state= 123,
6. stratify=y)

5  宣告資料預處理步驟

第三步得到的資料的精度是不一樣的，所以要把它們標準化。

標準化是機器學習任務的常見要求，許多演算法都假設所有特徵都以零為中心並具有大致相同的方差。

一個建模流水線，首先使用StandardScaler（）轉換資料，然後使用隨機森林迴歸器RandomForestRegressor（）擬合模型。

1. pipeline = make_pipeline(preprocessing.StandardScaler(),
2. RandomForestRegressor(n_estimators= 100))

6  宣告超引數

超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果。如下所見，格式應該是Python字典（鍵值對的資料結構），其中鍵是超引數名稱，值是要嘗試的設定列表，值的選項可以在文件頁面找到。

1. hyperparameters = { 'randomforestregressor__max_features' : ['auto', 'sqrt', 'log2'],
2. 'randomforestregressor__max_depth': [ None, 5, 3, 1]}

7  模型調優

交叉驗證（Cross-validation）是一種通過使用相同方法多次訓練和評估您的模型來可靠地估計構建模型的方法的效能的過程。

1. clf = GridSearchCV(pipeline, hyperparameters, cv=10)
2. clf.fit(X_train, y_train)

8  評估模型並預測

y_pred = clf.predict(X_test)

2. print r2_score(y_test, y_pred)
3. print mean_squared_error(y_test, y_pred)

完整程式碼

1. # -*- coding: utf-8 -*-
2. import numpy as np
3. import pandas as pd
5. from sklearn.model_selection import train_test_split
6. from sklearn import preprocessing
7. from sklearn.ensemble import RandomForestRegressor
8. from sklearn.pipeline import make_pipeline
9. from sklearn.model_selection import GridSearchCV
10. from sklearn.metrics import mean_squared_error,r2_score
11. from sklearn.externals import joblib
13. #匯入資料
14. dataset_url = 'http://mlr.cs.umass.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'
15. data = pd.read_csv(dataset_url,sep = ';')
16. #print(data.describe())
18. #把資料分為訓練集和測試集
19. y = data.quality
20. X = data.drop( 'quality',axis = 1)
22. X_train,X_test,y_train,y_test = train_test_split(X,y,
23. test_size= 0.2,
24. random_state= 123,
25. stratify=y)
27. #宣告資料預處理步驟
28. pipeline = make_pipeline(preprocessing.StandardScaler(),
29. RandomForestRegressor(n_estimators= 100))
31. #宣告超引數
32. hyperparameters = { 'randomforestregressor__max_features' : [ 'auto', 'sqrt', 'log2'],
33. 'randomforestregressor__max_depth':[ None, 5, 3, 1]}
35. #優化模型
36. clf = GridSearchCV(pipeline,hyperparameters,cv= 10)
37. clf.fit(X_train,y_train)
39. #評估模型及預測
40. pred = clf.predict(X_test)
41. print(r2_score(y_test, pred))
42. print(mean_squared_error(y_test, pred))

詳見：https://elitedatascience.com/python-machine-learning-tutorial-scikit-learn