Logout2-pandas_missing_values Last Checkpoint: 06/13/2018 (unsaved changes)

Python 3 

TrustedCodeMarkdownRaw NBConvertHeading-

處理丟失資料

In [2]:

import numpy as np

import pandas as pd

from pandas import Series,DataFrame

有兩種丟失資料：

• None
• np.nan(NaN)

In [3]:

type(None)

Out[3]:

NoneType

In [4]:

type(np.nan)

Out[4]:

float

In [5]:

type
 
(1000)

Out[5]:

int

In [6]:

type("hello")

Out[6]:

str

In [7]:

np.nan + 100

Out[7]:

nan

In [8]:

100 + "dsaf"

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-8-fb724d538b75> in <module>()
----> 1
 
100 + "dsaf"

TypeError: unsupported operand type(s) for +: 'int' and 'str'

In [ ]:

None + 100

1. None

None是Python自帶的，其型別為python object。因此，None不能參與到任何計算中。

object型別的運算要比int型別的運算慢得多
計算不同資料型別求和時間
%timeit np.arange(1e5,dtype=xxx).sum()

In [ ]:

1e5

In [ ]:

%timeit np.arange(1e6,dtype="int").sum()

In [ ]:

%timeit np.arange
 
(1e6,dtype="float").sum()

In [ ]:

%timeit np.arange(1e6,dtype="object").sum()

2. np.nan（NaN）

np.nan是浮點型別，能參與到計算中。但計算的結果總是NaN。

但可以使用np.nan*()函式來計算nan，此時視nan為0。

In [ ]:

nd = np.array([10,20,30,np.nan])

nd

In [ ]:

nd.sum()

In [ ]:

np.nansum(nd)

In [ ]:

np.nanmean(nd)

In [ ]:

np.array([1,2,3,np.nan,None])

In [ ]:

​

3. pandas中的None與NaN

1) pandas中None與np.nan都視作np.nan

建立DataFrame

In [9]:

df = DataFrame([[10,20,34,None,23,np.nan],

                [10,20,134,312,None,20],

                [20,56,98,np.nan,np.nan,None]

               ],

               index=list("abc"),

               columns=list("ABCDEF"))

df

Out[9]:

A	B	C	D	E	F
a	10	20	34	NaN	23.0	NaN
b	10	20	134	312.0	NaN	20.0
c	20	56	98	NaN	NaN	NaN

使用DataFrame行索引與列索引修改DataFrame資料

In [10]:

df.sum(axis=0) # axis=0把行加起來

Out[10]:

A     40.0
B     96.0
C    266.0
D    312.0
E     23.0
F     20.0
dtype: float64

In [11]:

df.sum(axis=1) # 把列加起來

Out[11]:

a     87.0
b    496.0
c    174.0
dtype: float64

【注】pandas中的nan在運算的時候被視作0

2) pandas中None與np.nan的操作

• isnull()
• notnull()
• dropna(): 過濾丟失資料
• fillna(): 填充丟失資料

(1)判斷函式

• isnull()
• notnull()

In [12]:

df

Out[12]:

A	B	C	D	E	F
a	10	20	34	NaN	23.0	NaN
b	10	20	134	312.0	NaN	20.0
c	20	56	98	NaN	NaN	NaN

In [13]:

df.isnull()

Out[13]:

A	B	C	D	E	F
a	False	False	False	True	False	True
b	False	False	False	False	True	False
c	False	False	False	True	True	True

In [14]:

df.isnull().all(axis=0) # 判斷每一列中的所有元素是否全為True，如果是則為True

Out[14]:

A    False
B    False
C    False
D    False
E    False
F    False
dtype: bool

In [15]:

df.isnull().any(axis=0) 

# 判斷每一列中是否有為True的元素，如果有一個為True，則為True

Out[15]:

A    False
B    False
C    False
D     True
E     True
F     True
dtype: bool

In [16]:

df.isnull().all(axis=1)

Out[16]:

a    False
b    False
c    False
dtype: bool

In [17]:

df.isnull().any(axis=1)

Out[17]:

a    True
b    True
c    True
dtype: bool