在我們平時進行資料資料探勘建模時，一般首先得對資料進行預處理，其中就包括資料缺失值、異常值處理、資料的標準化、歸一化等等。

下面主要介紹如何對一個數據檔案進行資料的缺失值處理、標準化和歸一化

from sklearn。preprocessing import Imputer

import numpy as np

#匯入要進行缺失值處理的資料檔案，資料檔案上面有展示
data = np.genfromtxt('input.csv', skip_header=True, delimiter=',')

imp = Imputer(missing_values='NAN', strategy='mean', axis=0)
#上面'NAN'表示無效值在資料檔案中的標識是'NAN',strategy='mean'表示用全域性平均值代替無效值，axis=0表示對列進行處理

imp.fit(data)
#訓練一個缺失值處理模型

outfile = imp.transform(data)

#儲存到本地
np.savetxt('outfile.csv', outfile, delimiter=',')

 

接下來進行資料標準化，公式為：（x-x_mean）/ x_std 計算時對每個屬性/每列分別進行

# -*- coding: utf-8 -*-
"""
Created on Mon Nov 27 23:13:09 2017

@author: wq
"""


from sklearn import preprocessing

import numpy as np

data = np.genfromtxt('input.csv', skip_header=True, delimiter=',')


#對一個數據集進行Z標準化，每一行表示一個樣本，每一列表示一個特徵引數

zdata = preprocessing.scale(data)

np.savetxt('z_core_out.txt', zdata, delimiter=',')

#對一個數據集進行歸一化，即資料縮至0-1之間，每一行表示一個樣本，每一列表示一個特徵引數

min_max_scale = preprocessing.MinMaxScaler()

min_max_data = min_max_scale.fit_transform(data)

np.savetxt('min_max_out1.csv', min_max_data, delimiter=',')