2. 程式人生 > >Pandas資料型別及操作

Pandas資料型別及操作

阿新 • • 發佈：2019-02-02

摘要: pandas 提供了一組標準的時間序列處理工具和資料演算法
資料型別及操作
Python 標準庫的 datetime

datetime 模組中的 datetime、 time、 calendar 等類都可以用來儲存時間型別以及進行一些轉換和運算操作。

lang:python
>>> from datetime import datetime
>>> now = datetime.now()
>>> now
datetime.datetime(2014, 6, 17, 15, 56, 19, 313193)
>>> 
 
delta = datetime(2010,2,2)-datetime(2010,2,1)
>>> delta
datetime.timedelta(1)
>>> now + delta
datetime.datetime(2014, 6, 18, 15, 56, 19, 313193)

datetime 物件間的減法運算會得到一個 timedelta 物件，表示一個時間段。

datetime 物件與它所儲存的字串格式時間戳之間可以互相轉換。str() 函式是可用的，但更推薦 datetime.strptime() 方法。這個方法可以實現雙向轉換。

lang:python
>>> 
 
str(now)
'2014-06-17 15:56:19.313193'
>>> now.strftime('%Y-%m-%d')
'2014-06-17'
>>> datetime.strptime('2010-01-01','%Y-%m-%d')
datetime.datetime(2010, 1, 1, 0, 0)

如 %Y 這種格式代表了某種具體的意義，但用著很麻煩。因此可以使用一個名為 dateutil 第三方包的 parser.parse() 函式實現自動轉義，它幾乎可以解析任何格式（這也可能會帶來麻煩）。

lang:python
>>> from
 
 dateutil.parser import parse
>>> parse('01-02-2010',dayfirst=True)
datetime.datetime(2010, 2, 1, 0, 0)
>>> parse('01-02-2010')
datetime.datetime(2010, 1, 2, 0, 0)
>>> parse('55')
datetime.datetime(2055, 6, 17, 0, 0)

pandas 的 TimeStamp

pandas 最基本的時間日期物件是一個從 Series 派生出來的子類 TimeStamp，這個物件與 datetime 物件保有高度相容性，可通過 pd.to_datetime() 函式轉換。（一般是從 datetime 轉換為 Timestamp）

lang:python
>>> pd.to_datetime(now)
Timestamp('2014-06-17 15:56:19.313193', tz=None)
>>> pd.to_datetime(np.nan)
NaT

pandas 的時間序列

pandas 最基本的時間序列型別就是以時間戳（TimeStamp）為 index 元素的 Series 型別。

lang:python
>>> dates = [datetime(2011,1,1),datetime(2011,1,2),datetime(2011,1,3)]
>>> ts = Series(np.random.randn(3),index=dates)
>>> ts
2011-01-01    0.362289
2011-01-02    0.586695
2011-01-03   -0.154522
dtype: float64
>>> type(ts)
<class 'pandas.core.series.Series'>
>>> ts.index
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-01-01, ..., 2011-01-03]
Length: 3, Freq: None, Timezone: None
>>> ts.index[0]
Timestamp('2011-01-01 00:00:00', tz=None)

時間序列之間的算術運算會自動按時間對齊。

索引、選取、子集構造

時間序列只是 index 比較特殊的 Series ，因此一般的索引操作對時間序列依然有效。其特別之處在於對時間序列索引的操作優化。如使用各種字串進行索引：

lang:python
>>> ts['20110101']
0.36228897878097266
>>> ts['2011-01-01']
0.36228897878097266
>>> ts['01/01/2011']
0.36228897878097266

對於較長的序列，還可以只傳入 “年” 或 “年月” 選取切片：

lang:python
>>> ts
2011-01-01    0.362289
2011-01-02    0.586695
2011-01-03   -0.154522
2012-12-25    0.111869
dtype: float64
>>> ts['2012']
2012-12-25    0.111869
dtype: float64
>>> ts['2011-1-2':'2012-12']
2011-01-02    0.586695
2011-01-03   -0.154522
2012-12-25    0.111869
dtype: float64

除了這種字串切片方式外，還有一種例項方法可用：ts.truncate(after=’2011-01-03’)。

值得注意的是，切片時使用的字串時間戳並不必存在於 index 之中，如 ts.truncate(before=’3055’) 也是合法的。

日期的範圍、頻率以及移動

pandas 中的時間序列一般被預設為不規則的，即沒有固定的頻率。但出於分析的需要，我們可以通過插值的方式將序列轉換為具有固定頻率的格式。一種快捷方式是使用 .resample(rule) 方法：

lang:python
>>> ts
2011-01-01    0.362289
2011-01-02    0.586695
2011-01-03   -0.154522
2011-01-06    0.222958
dtype: float64
>>> ts.resample('D')
2011-01-01    0.362289
2011-01-02    0.586695
2011-01-03   -0.154522
2011-01-04         NaN
2011-01-05         NaN
2011-01-06    0.222958
Freq: D, dtype: float64

生成日期範圍

pd.date_range() 可用於生成指定長度的 DatetimeIndex。引數可以是起始結束日期，或單給一個日期，加一個時間段引數。日期是包含的。

lang:python
>>> pd.date_range('20100101','20100110')
<class 'pandas.tseries.index.DatetimeIndex'>
[2010-01-01, ..., 2010-01-10]
Length: 10, Freq: D, Timezone: None
>>> pd.date_range(start='20100101',periods=10)
<class 'pandas.tseries.index.DatetimeIndex'>
[2010-01-01, ..., 2010-01-10]
Length: 10, Freq: D, Timezone: None
>>> pd.date_range(end='20100110',periods=10)
<class 'pandas.tseries.index.DatetimeIndex'>
[2010-01-01, ..., 2010-01-10]
Length: 10, Freq: D, Timezone: None

預設情況下，date_range 會按天計算時間點。這可以通過 freq 引數進行更改，如 “BM” 代表 bussiness end of month。

lang:python
>>> pd.date_range('20100101','20100601',freq='BM')
<class 'pandas.tseries.index.DatetimeIndex'>
[2010-01-29, ..., 2010-05-31]
Length: 5, Freq: BM, Timezone: None

頻率和日期偏移量

pandas 中的頻率是由一個基礎頻率和一個乘陣列成的。基礎頻率通常以一個字串別名表示，如上例中的 “BM”。對於每個基礎頻率，都有一個被稱為日期偏移量（date offset）的物件與之對應。可以通過例項化日期偏移量來建立某種頻率：

lang:python
>>> Hour()
<Hour>
>>> Hour(2)
<2 * Hours>
>>> Hour(1) + Minute(30)
<90 * Minutes>

但一般來說不必這麼麻煩，使用前面提過的字串別名來建立頻率就可以了：

lang:python
>>> pd.date_range('00:00','12:00',freq='1h20min')
<class 'pandas.tseries.index.DatetimeIndex'>
[2014-06-17 00:00:00, ..., 2014-06-17 12:00:00]
Length: 10, Freq: 80T, Timezone: None

可用的別名，可以通過 help() 或 文件來查詢，這裡就不寫了。

移動（超前和滯後）資料

移動（shifting）指的是沿著時間軸將資料前移或後移。Series 和 DataFrame 都有一個 .shift() 方法用於執行單純的移動操作，index 維持不變：

lang:python
>>> ts
2011-01-01    0.362289
2011-01-02    0.586695
2011-01-03   -0.154522
2011-01-06    0.222958
dtype: float64
>>> ts.shift(2)
2011-01-01         NaN
2011-01-02         NaN
2011-01-03    0.362289
2011-01-06    0.586695
dtype: float64
>>> ts.shift(-2)
2011-01-01   -0.154522
2011-01-02    0.222958
2011-01-03         NaN
2011-01-06         NaN
dtype: float64

上例中因為移動操作產生了 NA 值，另一種移動方法是移動 index，而保持資料不變。這種移動方法需要額外提供一個 freq 引數來指定移動的頻率：

lang:python
>>> ts.shift(2,freq='D')
2011-01-03    0.362289
2011-01-04    0.586695
2011-01-05   -0.154522
2011-01-08    0.222958
dtype: float64
>>> ts.shift(2,freq='3D')
2011-01-07    0.362289
2011-01-08    0.586695
2011-01-09   -0.154522
2011-01-12    0.222958
dtype: float64

時期及其算術運算

本節使用的時期（period）概念不同於前面的時間戳（timestamp），指的是一個時間段。但在使用上並沒有太多不同，pd.Period 類的建構函式仍需要一個時間戳，以及一個 freq 引數。freq 用於指明該 period 的長度，時間戳則說明該 period 在公園時間軸上的位置。

lang:python
>>> p = pd.Period(2010,freq='M')
>>> p
Period('2010-01', 'M')
>>> p + 2
Period('2010-03', 'M')

上例中我給 period 的構造器傳了一個 “年” 單位的時間戳和一個 “Month” 的 freq，pandas 便自動把 2010 解釋為了 2010-01。

period_range 函式可用於建立規則的時間範圍：

lang:python
>>> pd.period_range('2010-01','2010-05',freq='M')
<class 'pandas.tseries.period.PeriodIndex'>
freq: M
[2010-01, ..., 2010-05]
length: 5

PeriodIndex 類儲存了一組 period，它可以在任何 pandas 資料結構中被用作軸索引：

lang:python
>>> Series(np.random.randn(5),index=pd.period_range('201001','201005',freq='M'))
2010-01    0.755961
2010-02   -1.074492
2010-03   -0.379719
2010-04    0.153662
2010-05   -0.291157
Freq: M, dtype: float64

時期的頻率轉換

Period 和 PeriodIndex 物件都可以通過其 .asfreq(freq, method=None, how=None) 方法被轉換成別的頻率。

lang:python
>>> p = pd.Period('2007',freq='A-DEC')
>>> p.asfreq('M',how='start')
Period('2007-01', 'M')
>>> p.asfreq('M',how='end')
Period('2007-12', 'M')
>>> ts = Series(np.random.randn(1),index=[p])
>>> ts
2007   -0.112347
Freq: A-DEC, dtype: float64
>>> ts.asfreq('M',how='start')
2007-01   -0.112347
Freq: M, dtype: float64

時間戳與時期間相互轉換

以時間戳和以時期為 index 的 Series 和 DataFrame 都有一對 .to_period() 和 to_timestamp(how=’start’) 方法用於互相轉換 index 的型別。因為從 period 到 timestamp 的轉換涉及到一個取端值的問題，所以需要一個額外的 how 引數，預設為 ‘start’：

lang:python
>>> ts = Series(np.random.randn(5),index=pd.period_range('201001','201005',freq='M'))
>>> ts
2010-01   -0.312160
2010-02    0.962652
2010-03   -0.959478
2010-04    1.240236
2010-05   -0.916218
Freq: M, dtype: float64
>>> ts.to_timestamp()
2010-01-01   -0.312160
2010-02-01    0.962652
2010-03-01   -0.959478
2010-04-01    1.240236
2010-05-01   -0.916218
Freq: MS, dtype: float64
>>> ts.to_timestamp(how='end')
2010-01-31   -0.312160
2010-02-28    0.962652
2010-03-31   -0.959478
2010-04-30    1.240236
2010-05-31   -0.916218
Freq: M, dtype: float64
>>> ts.to_timestamp().to_period()
2010-01-01 00:00:00.000   -0.312160
2010-02-01 00:00:00.000    0.962652
2010-03-01 00:00:00.000   -0.959478
2010-04-01 00:00:00.000    1.240236
2010-05-01 00:00:00.000   -0.916218
Freq: L, dtype: float64
>>> ts.to_timestamp().to_period('M')
2010-01   -0.312160
2010-02    0.962652
2010-03   -0.959478
2010-04    1.240236
2010-05   -0.916218
Freq: M, dtype: float64

重取樣及頻率轉換

重取樣（resampling）指的是將時間序列從一個頻率轉換到另一個頻率的過程。pandas 物件都含有一個 .resample(freq, how=None, axis=0, fill_method=None, closed=None, label=None, convention=’start’, kind=None, loffset=None, limit=None, base=0) 方法用於實現這個過程。

本篇最前面曾用 resample 規整化過時間序列。當時進行的是插值操作，因為原索引的頻率與給出的 freq 引數相同。resample 方法更多的應用場合是 freq 發生改變的時候，這時操作就分為升取樣（upsampling）和降取樣（downsampling）兩種。具體的區別都體現在引數裡。

lang:python
>>> ts
2010-01   -0.312160
2010-02    0.962652
2010-03   -0.959478
2010-04    1.240236
2010-05   -0.916218
Freq: M, dtype: float64
>>> ts.resample('D',fill_method='ffill')#升取樣
2010-01-01   -0.31216
2010-01-02   -0.31216
2010-01-03   -0.31216
2010-01-04   -0.31216
2010-01-05   -0.31216
2010-01-06   -0.31216
2010-01-07   -0.31216
2010-01-08   -0.31216
2010-01-09   -0.31216
2010-01-10   -0.31216
2010-01-11   -0.31216
2010-01-12   -0.31216
2010-01-13   -0.31216
2010-01-14   -0.31216
2010-01-15   -0.31216
...
2010-05-17   -0.916218
2010-05-18   -0.916218
2010-05-19   -0.916218
2010-05-20   -0.916218
2010-05-21   -0.916218
2010-05-22   -0.916218
2010-05-23   -0.916218
2010-05-24   -0.916218
2010-05-25   -0.916218
2010-05-26   -0.916218
2010-05-27   -0.916218
2010-05-28   -0.916218
2010-05-29   -0.916218
2010-05-30   -0.916218
2010-05-31   -0.916218
Freq: D, Length: 151
>>> ts.resample('A-JAN',how='sum')#降取樣
2010   -0.312160
2011    0.327191
Freq: A-JAN, dtype: float64

相關推薦

Pandas資料型別及操作

摘要: pandas 提供了一組標準的時間序列處理工具和資料演算法 資料型別及操作 Python 標準庫的 datetime datetime 模組中的 datetime、 time、 calendar 等類都可以用來儲存時間型別以及進行一些轉換和運算操作

Python語法day2-常用資料型別及操作

Python語法day2-常用資料型別及操作 數值 a，整型（int）：2進位制（0b + 二進位制串），8進位制（0/0o + 八進位制串），10進位制，16進位制（0x + 16進位制串）； b，浮點型（float）：小數，也可以用科學計數法表示； c，複數（complex

JS基礎篇-資料型別及操作標籤樣式

一、JS的資料型別     ①.數字 number   拓展：在進行+ 運算時左右兩邊任意一邊有字串，那麼它的功能是拼接。拼接後資料型別是 字串     ②.字串 string      ③.布林值 boolean  --> true/false     ④.物件 ob

Python之路（組合資料型別及操作）

Python之路（組合資料型別及操作） 集合型別 集合型別的定義 集合是多個元素的無序組合 集合型別與數學中的集合概念一致 集合型別之間無序，每個元素唯一，不存在相同元素 集合元素之間不可或更改，不是可變資料型別 集合用大括號 {} 表示，元素間用逗號分隔 建立集合型別用 {}

Python資料型別及操作

Python資料型別及操作 python資料型別：number，string，list，set，dict，tuple 列表 list 索引從 0 開始 格式：list_ = [1, "a", True, None, 5] 可用for迴圈、while迴圈遍歷、len()檢視列表長度

Scala 程式設計—第二節：資料型別及操作、流程控制

1.Scala 資料型別 Scala 與 Java有著相同的資料型別，下表列出了 Scala 支援的資料型別 資料型別 描述 Byte 8位有符號補碼整數。數值區間為 -128 到 1

NDK基本資料型別及操作

1.資料型別 2.引用型別 3.資料和物件型別的基本操作 (1)string型別,在native中並不提供修改string型別函式,因為java中也是步伐修改存在的string的型別即string型別在java中不變型別的 jstring javaString; j

redis資料型別及基本操作

Redis支援五種資料型別：string（字串），hash（雜湊），list（列表），set（集合）及zset(sorted set：有序集合) 一、string型別及基本操作 string 是 redis 最基本的型別，最大上限是1G 位元組。你可以理解成與 Memcached 一模一樣的型別，一個 k

Redis系列(二):Redis的資料型別及命令操作

Redis 中常用命令 Redis 官方的文件是英文版的，當然網上也有大量的中文翻譯版,例如:Redis 命令參考。這裡只列舉常用到幾個基本命令。 命令 行為 set key value 設定 key 值為 value get key 讀取 key 的值 del key 刪除 ke

Python 資料型別及基本操作

【概述】 不同的資料，需要定義不同的資料型別。 Python 定義了五個標準型別，用於儲存各種型別的資料： Numbers（數字） String（字串） List（列表） Tuple（元組） Dictionary（字典） 【數字】 數字資料型別用於儲存數值，它

Redis 資料型別及常用操作指令

Redis 資料型別 redis支援五種資料型別：string（字串），hash（雜湊），list（列表），set（集合）及zset(sorted set：有序集合) **************************************************************

Redis資料型別及常用的操作命令——LIST操作

可以通過該網站檢視更多redis命令及資訊：http://redisdoc.com/ LPUSH key value [value …] 將一個或多個值 value 插入到列表 key 的表頭 如果有多個 value 值，那麼各個 value 值按從左到右的順序依次插入到表頭： 比如說，對空

Redis資料型別及常用的操作命令——String操作

可以通過該網站檢視更多redis命令及資訊：http://redisdoc.com/ set k v： 當set k1 v1後再次set k1 v2,則會覆蓋上一次的值； get key: 獲取key的value； del key： 刪除當前key； APPEND key value：

Redis資料型別及常用的操作命令——key操作

可以通過該網站檢視更多redis命令及資訊：http://redisdoc.com/ key： select：用於選擇redis的DB，redis的DB有0-16個數據庫。 keys /key：：遍歷該資料庫中的所有的key，key代表具體的key。 EXISTS key：代表是否存在

Redis資料型別及常用的操作命令——資料型別

Redis總共有5大資料型別,分列如下： String（字串）： string是redis最基本的型別，你可以理解成與Memcached一模一樣的型別，一個key對應一個value。 string型別是二進位制安全的。意思是redis的string可以包含任何資料。比如jpg圖片或者序列化的

Redis資料型別及常用的操作命令——hash操作

可以通過該網站檢視更多redis命令及資訊：http://redisdoc.com/ HSET key field value 將雜湊表 key 中的域 field 的值設為 value 。 如果 key 不存在，一個新的雜湊表被建立並進行 HSET 操作。 如果域 field 已經存在於雜

Pandas學習筆記（1）基本資料型別及屬性

Pandas介紹 Python Data Analysis Library即Pandas是基於NumPy 的一種Python資料分析工具包，包含豐富的資料型別和便捷的操作方式。 基本資料型別 Series 對應Python中的列表和NumPy的一維陣

python3 組合資料型別（一）集合型別及操作

1.集合型別集合是大於等於0個元素的無序組合，用{}表示，元素間用逗號隔開；用{}或set（）函式建立集合，但空集合必須用set（）函式。特點：集合元素之間無序，每個元素唯一（不存在相同元素），元素不可更改，不能是可變資料型別，而是字串、整數型、浮點型、元組（因為可變資料型別

Redis資料型別及存取操作

概要           前面我們學習瞭如何安裝Redis資料庫，這裡我們來學習一下Redis的資料型別及簡單的存取操作 連線Redis服務 連線本地Redis服務           啟動 redis 客戶端，開啟終端並輸入命令 redis-cli

Redis入門之五大資料型別及常用操作

注：本片博文基本都是從redis官網摘抄整理，感興趣的可以直接去官網檢視 另外，該網站也有比較全的redis命令參考http://redisdoc.com/ 一、String（字串） string是redis最基本的型別，你可以理解成與Memcached