1. 程式人生 > >用pandas或numpy處理資料中的空值(np.isnan()/pd.isnull())

用pandas或numpy處理資料中的空值(np.isnan()/pd.isnull())

最近在做資料處理的時候,遇到個讓我欲仙欲死的問題,那就是資料中的空值該如何獲取。

我的目的本來是獲取資料中的所有非零且非空值,然後再計算獲得到的所有資料計算均值,再用均值把0和空值填上。這個操作讓我意識到了i is None/np.isnan(i)/i.isnull()之間的差別,再此做簡單介紹:

1.關於np.nan:

先明確一個問題,即空值的產生只有np.nan()一種方法。

# np.nan()的一些奇妙性質:

np.nan == np.nan
>>> False

np.isnan(np.nan)
>>> True

np.nan is None
>>> False

type(np.nan)
>>> float

總結一下:

  • np.nan不是一個“空”物件,用 i is None判斷是False;
  • 對某個值是否為空值進行判斷,只能用np.isnan(i)函式,萬萬不可用 i == np.nan()來做,否則你會死的很慘的,因為空值並不能用判斷相等的“==”正確識別(上例前兩條);
  • np.nan非空物件,其型別為基本資料型別float(是不是很神奇,我也不知道為什麼要這樣設計)

 

2.np.isnan()和pd.isnull()何時使用:

# 首先建立一個DataFrame:
bb = pd.DataFrame({'a':[0,1,2,np.nan]})
bb

>>>     a
    0	0.0
    1	1.0
    2	2.0
    3	NaN

# 先測試一下np.isnan()
np.isnan(bb)
>>>     a
    0	False
    1	False
    2	False
    3	True
# 值得一提的是,如果想獲悉整個DataFrame有無空值,可以在此基礎上這樣做:

np.isnan(bb).all()
>>> a    False
    dtype: bool          # 這行是指返回值的dtype

# 再測試一下isnull()
pd.isnull(bb)
>>>     a
    0	False
    1	False
    2	False
    3	True

由上可見,其實np.isnan()和pd.isnull()都可以對不論是DataFrame、Python list還是僅僅一個數值進行空值檢測。但一般在實際應用中,np.isnan()多用於單個值的檢驗,pd.isnull()用於對一個DataFrame或Series(整體)的檢驗。

此外,根據pandas官方文件和原始碼,pandas提供的另一個函式pd.isna()與pd.isnull()完全一樣。

上面提到的any()/all()函式,請見pandas文件:

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.all.html#pandas.DataFrame.all

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.any.html#pandas.DataFrame.any

其他與空值檢測或刪除相關的函式還有:notna()、fillna()、dropna()等等。實戰中應靈活使用。