用pandas或numpy處理資料中的空值(np.isnan()/pd.isnull())
阿新 • • 發佈:2018-11-26
最近在做資料處理的時候,遇到個讓我欲仙欲死的問題,那就是資料中的空值該如何獲取。
我的目的本來是獲取資料中的所有非零且非空值,然後再計算獲得到的所有資料計算均值,再用均值把0和空值填上。這個操作讓我意識到了i is None/np.isnan(i)/i.isnull()之間的差別,再此做簡單介紹:
1.關於np.nan:
先明確一個問題,即空值的產生只有np.nan()一種方法。
# np.nan()的一些奇妙性質: np.nan == np.nan >>> False np.isnan(np.nan) >>> True np.nan is None >>> False type(np.nan) >>> float
總結一下:
- np.nan不是一個“空”物件,用 i is None判斷是False;
- 對某個值是否為空值進行判斷,只能用np.isnan(i)函式,萬萬不可用 i == np.nan()來做,否則你會死的很慘的,因為空值並不能用判斷相等的“==”正確識別(上例前兩條);
- np.nan非空物件,其型別為基本資料型別float(是不是很神奇,我也不知道為什麼要這樣設計)
2.np.isnan()和pd.isnull()何時使用:
# 首先建立一個DataFrame: bb = pd.DataFrame({'a':[0,1,2,np.nan]}) bb >>> a 0 0.0 1 1.0 2 2.0 3 NaN # 先測試一下np.isnan() np.isnan(bb) >>> a 0 False 1 False 2 False 3 True # 值得一提的是,如果想獲悉整個DataFrame有無空值,可以在此基礎上這樣做: np.isnan(bb).all() >>> a False dtype: bool # 這行是指返回值的dtype # 再測試一下isnull() pd.isnull(bb) >>> a 0 False 1 False 2 False 3 True
由上可見,其實np.isnan()和pd.isnull()都可以對不論是DataFrame、Python list還是僅僅一個數值進行空值檢測。但一般在實際應用中,np.isnan()多用於單個值的檢驗,pd.isnull()用於對一個DataFrame或Series(整體)的檢驗。
此外,根據pandas官方文件和原始碼,pandas提供的另一個函式pd.isna()與pd.isnull()完全一樣。
上面提到的any()/all()函式,請見pandas文件:
其他與空值檢測或刪除相關的函式還有:notna()、fillna()、dropna()等等。實戰中應靈活使用。