2. 程式人生 > >關於使用Sklearn進行資料預處理 —— 缺失值（Missing Value）處理

關於使用Sklearn進行資料預處理 —— 缺失值（Missing Value）處理

阿新 • • 發佈：2018-12-11

關於缺失值（missing value）的處理

在sklearn的preprocessing包中包含了對資料集中缺失值的處理，主要是應用Imputer類進行處理。

首先需要說明的是，numpy的陣列中可以使用np.nan/np.NaN（Not A Number）來代替缺失值，對於陣列中是否存在nan可以使用np.isnan()來判定。

使用type(np.nan)或者type(np.NaN)可以發現改值其實屬於float型別，程式碼如下：

1

2

3

4

5

6

7

8

>>> type

(np.NaN)

<type 'float'>

>>> type(np.nan)

<type 'float'>

>>> np.NaN

nan

>>> np.nan

nan

因此，如果要進行處理的資料集中包含缺失值一般步驟如下：

1、使用字串'nan'來代替資料集中的缺失值；

2、將該資料集轉換為浮點型便可以得到包含np.nan的資料集；

3、使用sklearn.preprocessing.Imputer類來處理使用np.nan對缺失值進行編碼過的資料集。

程式碼如下：

1

2

3

4

5

6

7

8

9

10

>>> from sklearn.preprocessing import Imputer

>>> imp = Imputer(missing_values='NaN', strategy='mean', axis=0)

>>> X=np.array([[1, 2], [np.nan, 3], [7, 6]])

>>> Y=[[np.nan,

2], [6, np.nan], [7, 6]]

>>> imp.fit(X)

Imputer(axis=0, copy=True, missing_values='NaN', strategy='mean', verbose=0)

>>> imp.transform(Y)

array([[ 4.        ,  2.        ],

[ 6.        ,  3.66666667],

[ 7.        ,  6.        ]])

上述程式碼使用陣列X去“訓練”一個Imputer類，然後用該類的物件去處理陣列Y中的缺失值，缺失值的處理方式是使用X中的均值（axis=0表示按列進行）代替Y中的缺失值。

當然也可以使用imp物件來對X陣列本身進行處理。

通常，我們的資料都儲存在檔案中，也不一定都是Numpy陣列生成的，因此缺失值可能不一定是使用nan來編碼的，對於這種情況可以參考以下程式碼：

1

2

3

4

5

6

7

8

9

10

11

12

>>> line='1,?'

>>> line=line.replace(',?',',nan')

>>> line

'1,nan'

>>> Z=line.split(',')

>>> Z

['1', 'nan']

>>> Z=np.array(Z,dtype=float)

>>> Z

array([  1.,  nan])

>>> imp.transform(Z)

array([[ 1.        ,  3.66666667]])

上述程式碼line模擬從檔案中讀取出來的一行資料，使用nan來代替原始資料中的缺失值編碼，將其轉換為浮點型，然後使用X中的均值填補Z中的缺失值。

相關推薦

關於使用Sklearn進行資料預處理 —— 缺失值（Missing Value）處理

關於缺失值（missing value）的處理 在sklearn的preprocessing包中包含了對資料集中缺失值的處理，主要是應用Imputer類進行處理。 首先需要說明的是，numpy的陣列中可以使用np.nan/np.NaN（Not A Number）來代替

機器學習（一）：用sklearn進行資料預處理：缺失值處理、資料標準化、歸一化

在我們平時進行資料資料探勘建模時，一般首先得對資料進行預處理，其中就包括資料缺失值、異常值處理、資料的標準化、歸一化等等。 下面主要介紹如何對一個數據檔案進行資料的缺失值處理、標準化和歸一化 MID_SP MID_AC MID_R25 MID_COND LITHO1 55.

【轉】關於使用sklearn進行資料預處理 —— 歸一化/標準化/正則化

一、標準化（Z-Score），或者去除均值和方差縮放 公式為：(X-mean)/std  計算時對每個屬性/每列分別進行。 將資料按期屬性（按列進行）減去其均值，並處以其方差。得到的結果是，對於每個屬性/每列來說所有資料都聚集在0附近，方差為1。 實現時，有兩種不同的方式：

關於使用sklearn進行資料預處理 —— 歸一化/標準化/正則化

一、標準化（Z-Score），或者去除均值和方差縮放 公式為：(X-mean)/std  計算時對每個屬性/每列分別進行。 將資料按期屬性（按列進行）減去其均值，並處以其方差。得到的結果是，對於每個屬性/每列來說所有資料都聚集在0附近，方差為1。 實現時，有兩種不同的方

使用sklearn進行資料預處理 —— 歸一化/標準化/正則化

本文主要是對照scikit-learn的preprocessing章節結合程式碼簡單的回顧下預處理技術的幾種方法，主要包括標準化、資料最大最小縮放處理、正則化、特徵二值化和資料缺失值處理。內容比較簡單，僅供參考！ 首先來回顧一下下面要用到的基本知識。 均值公式：

R語言 處理缺失值（二）

資料來源：http://pan.baidu.com/s/1miRcns0 ##設定工作空間 #把“資料及程式”資料夾拷貝到F盤下，再用setwd設定工作空間 setwd("F:/資料及程式/chapter4/示例程式") #讀取銷售資料檔案，提取標題行 inputfile=

利用Pandas進行資料分析（3）——統計、處理缺失值、層次化索引

注：此係列參考了樑斌老師的課件和《利用Python進行資料分析》一書。 import numpy as np import pandas as pd from pandas import DataFrame,Series df_obj

機器學習 第3篇：資料預處理（使用插補法處理缺失值）

插補法可以在一定程度上減少偏差，常用的插補法是熱卡插補、擬合插補和多重插補。擬合插補，要求變數間存在強的相關性；多重插補（MCMC法），是在高缺失率下的首選插補方法，優點是考慮了缺失值的不確定性。 一，熱卡插補 熱卡填充（Hot deck imputation）也叫就近補齊，對於一個包含空值的物件，熱卡填充法

資料預處理--缺失值和異常值的處理

處理缺失資料的方法   1）用平均值、中值、分位數、眾數、隨機值等替代。   如果預計該變數對於學習模型效果影響不大，可以對unknown值賦眾數，這裡認為變數都對學習模型有較大影響，效果一般，因為等於人為增加了噪聲，不建議採取此法。   數值型的話，均值和近鄰或許是更好的方法。做成啞變

3-6 用 Pandas 進行資料預處理：資料清洗與視覺化（版本：py3）

主要內容： 格式轉換 缺失資料 異常資料 資料標準化操作 格式轉換 如Python記錄時間的方式，不能夠直接實現減運算，就需要進行轉換 pandas.to_datetime 缺失資料 忽略缺失資料 直接標記 利用平均值、最常出現值進行填充 異常資料 處

用python進行資料預處理，過濾特殊符號，英文和數字。（適用於中文分詞）

要進行中文分詞，必須要求資料格式全部都是中文，需求過濾掉特殊符號、標點、英文、數字等。當然了使用者可以根據自己的要求過濾自定義字元。 實驗環境：python、mysql 實驗目的：從資料庫讀取資料，

資料預處理系列：（十二）用截斷奇異值分解降維

博主簡介：風雪夜歸子（英文名: Allen），機器學習演算法攻城獅，喜愛鑽研Machine Learning的黑科技，對Deep Learning和Artificial Intellige

R語言學習筆記（十六）：處理缺失值

ima 結果 cti img dataset case prop .com log #識別缺失值 install.packages("VIM") data(sleep,package="VIM") #列出沒有缺失值的行 sleep[complete.case

sklearn preprocessing 資料預處理 OneHotEncoder

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

用pandas或numpy處理資料中的空值（np.isnan()/pd.isnull()）

最近在做資料處理的時候，遇到個讓我欲仙欲死的問題，那就是資料中的空值該如何獲取。 我的目的本來是獲取資料中的所有非零且非空值，然後再計算獲得到的所有資料計算均值，再用均值把0和空值填上。這個操作讓我意識到了i is None/np.isnan(i)/i.isnull()之間的差別，再此

python之sklearn常見資料預處理歸一化方式解析

標準歸一化 歸一化到均值為0，方差為1 sklearn.preprocessing.scale函式：Standardize a dataset along any axis 先貼出主要的原始碼，乍一看，很亂，其實細看之下，就是多了一些判斷稀疏矩陣之類

python資料分析：缺失值處理

缺失值處理可以使用主要以pandas缺失值處理最為常用 import pandas as pd import numpy as np from sklearn.preprocessing import Imputer df = pd.DataFrame(np.random

利用python Pandas進行資料預處理

 目錄：       1.安裝pandas                 2.pandas的引入                 3.資料清洗                        ①處理缺

資料處理--缺失值處理&異常值處理

缺失值處理： 造成資料缺失的原因是多方面的，主要可能有以下幾種： 有些資訊暫時無法獲取，致使一部分屬性值空缺出來。 有些資訊因為一些人為因素而丟失了。 有些物件的某個或某些屬性是不可用的。如一個未婚者的配偶姓名。 獲取這些資訊的代價太大，從而未獲取資料。

R語言 處理缺失值資料

簡單插補的一個優點是，解決“缺失值問題”時不會減少分析過程中可用的樣本量。雖然 簡單插補用法簡單，但對於非MCAR的資料會產生有偏的結果。若缺失資料的數目非常大，那麼簡單插補很可能會低估標準差、曲解變數間的相關性，並會生成不正確的統計檢驗的p值。應儘量避免使用該方法。