2. 程式人生 > >python+pandas+時間、日期以及時間序列處理

python+pandas+時間、日期以及時間序列處理

阿新 • • 發佈：2019-01-10

先簡單的瞭解下日期和時間資料型別及工具

python標準庫包含於日期（date）和時間（time）資料的資料型別，datetime、time以及calendar模組會被經常用到。

datetime以毫秒形式儲存日期和時間，datetime.timedelta表示兩個datetime物件之間的時間差。

給datetime物件加上或減去一個或多個timedelta，會產生一個新的物件

from datetime import datetime

from datetime import timedelta
now = datetime.now()
now
    datetime.datetime
 
(2017, 6, 27, 15, 56, 56, 167000)
datetime引數：datetime(year, month, day[, hour[, minute[, second[, microsecond[,tzinfo]]]]])
delta = now - datetime(2017,6,27,10,10,10,10)

delta
    datetime.timedelta(0, 20806, 166990)
delta.days
    0
delta.seconds
    20806
delta.microseconds
    166990

只有這三個引數了！

datetime模組中的資料型別

型別 說明
date 以公曆形式儲存日曆日期（年、月、日）
time 將時間儲存為時、分、秒、毫秒
datetime 儲存日期和時間
timedelta 表示兩個datetime值之間的差（日、秒、毫秒）

字串和datetime的相互轉換

1）python標準庫函式

日期轉換成字串：利用str 或strftime

字串轉換成日期：datetime.strptime

stamp = datetime(2017,6,27)
str(stamp)
    '2017-06-27 00:00:00'
 
stamp.strftime('%y-%m-%d')#%Y是4位年，%y是2位年
    '17-06-27'
#對多個時間進行解析成字串

date = ['2017-6-26','2017-6-27']

datetime2 = [datetime.strptime(x,'%Y-%m-%d') for x in date]

datetime2
    [datetime.datetime(2017, 6, 26, 0, 0), datetime.datetime(2017, 6, 27, 0, 0)]

2）第三方庫dateutil.parser的時間解析函式

from dateutil.parser import parse
parse('2017-6-27')
    datetime.datetime(2017, 6, 27, 0, 0)
parse('27/6/2017',dayfirst =True)
    datetime.datetime(2017, 6, 27, 0, 0)

3）pandas處理成組日期

pandas通常用於處理成組日期，不管這些日期是DataFrame的軸索引還是列，to_datetime方法可以解析多種不同的日期表示形式。

date
    ['2017-6-26', '2017-6-27']
import pandas as pd

pd.to_datetime(date)
    DatetimeIndex(['2017-06-26', '2017-06-27'], dtype='datetime64[ns]', freq=None)

datetime 格式定義

程式碼 說明
%Y 4位數的年
%y 2位數的年
%m 2位數的月[01,12]
%d 2位數的日[01，31]
%H 時（24小時制）[00,23]
%l 時（12小時制）[01,12]
%M 2位數的分[00,59]
%S 秒[00,61]有閏秒的存在
%w 用整數表示的星期幾[0（星期天），6]
%F %Y-%m-%d簡寫形式例如，2017-06-27
%D %m/%d/%y簡寫形式

pandas時間序列基礎以及時間、日期處理

pandas最基本的時間序列型別就是以時間戳（時間點）（通常以python字串或datetime物件表示）為索引的Series：

dates = ['2017-06-20','2017-06-21',\
         '2017-06-22','2017-06-23','2017-06-24','2017-06-25','2017-06-26','2017-06-27']
import numpy as np
ts = pd.Series(np.random.randn(8),index = pd.to_datetime(dates))
ts
    2017-06-20    0.788811
    2017-06-21    0.372555
    2017-06-22    0.009967
    2017-06-23   -1.024626
    2017-06-24    0.981214
    2017-06-25    0.314127
    2017-06-26   -0.127258
    2017-06-27    1.919773
    dtype: float64

ts.index
    DatetimeIndex(['2017-06-20', '2017-06-21', '2017-06-22', '2017-06-23',
                   '2017-06-24', '2017-06-25', '2017-06-26', '2017-06-27'],
                  dtype='datetime64[ns]', freq=None)

pandas不同索引的時間序列之間的算術運算會自動按日期對齊

ts[::2]#從前往後每隔兩個取資料
    2017-06-20    0.788811
    2017-06-22    0.009967
    2017-06-24    0.981214
    2017-06-26   -0.127258
    dtype: float64
ts[::-2]#從後往前逆序每隔兩個取資料
    2017-06-27    1.919773
    2017-06-25    0.314127
    2017-06-23   -1.024626
    2017-06-21    0.372555
    dtype: float64

ts + ts[::2]#自動資料對齊
    2017-06-20    1.577621
    2017-06-21         NaN
    2017-06-22    0.019935
    2017-06-23         NaN
    2017-06-24    1.962429
    2017-06-25         NaN
    2017-06-26   -0.254516
    2017-06-27         NaN
    dtype: float64

索引為日期的Series和DataFrame資料的索引、選取以及子集構造

方法：
1）.index[number_int]

2)[一個可以被解析為日期的字串]

3）對於，較長的時間序列，只需傳入‘年’或‘年月’可返回對應的資料切片

4）通過時間範圍進行切片索引

ts
    2017-06-20    0.788811
    2017-06-21    0.372555
    2017-06-22    0.009967
    2017-06-23   -1.024626
    2017-06-24    0.981214
    2017-06-25    0.314127
    2017-06-26   -0.127258
    2017-06-27    1.919773
    dtype: float64
ts[ts.index[2]]
    0.0099673896063391908
ts['2017-06-21']#傳入可以被解析成日期的字串
    0.37255538918121028
ts['21/06/2017']
    0.37255538918121028
ts['20170621']
    0.37255538918121028
ts['2017-06']#傳入年或年月
    2017-06-20    0.788811
    2017-06-21    0.372555
    2017-06-22    0.009967
    2017-06-23   -1.024626
    2017-06-24    0.981214
    2017-06-25    0.314127
    2017-06-26   -0.127258
    2017-06-27    1.919773
    dtype: float64
ts['2017-06-20':'2017-06-23']#時間範圍進行切片
    2017-06-20    0.788811
    2017-06-21    0.372555
    2017-06-22    0.009967
    2017-06-23   -1.024626
    dtype: float64

帶有重複索引的時間序列

1）.index.is_unique檢查索引日期是否是唯一的

2）對非唯一時間戳的資料進行聚合，通過groupby，並傳入level = 0（索引的唯一一層）

dates = pd.DatetimeIndex(['2017/06/01','2017/06/02','2017/06/02','2017/06/02','2017/06/03'])
dates
    DatetimeIndex(['2017-06-01', '2017-06-02', '2017-06-02', '2017-06-02',
                   '2017-06-03'],
                  dtype='datetime64[ns]', freq=None)

dup_ts = pd.Series(np.arange(5),index = dates)
dup_ts
    2017-06-01    0
    2017-06-02    1
    2017-06-02    2
    2017-06-02    3
    2017-06-03    4
    dtype: int32
dup_ts.index.is_unique
    False
dup_ts['2017-06-02']
    2017-06-02    1
    2017-06-02    2
    2017-06-02    3
    dtype: int32

grouped = dup_ts.groupby(level=0).mean()
grouped
    2017-06-01    0
    2017-06-02    2
    2017-06-03    4
    dtype: int32
dup_df = pd.DataFrame(np.arange(10).reshape((5,2)),index = dates )
dup_df
0 1
2017-06-01 0 1
2017-06-02 2 3
2017-06-02 4 5
2017-06-02 6 7
2017-06-03 8 9 
grouped_df = dup_df.groupby(level=0).mean()##針對DataFrame
grouped_df
0 1
2017-06-01 0 1
2017-06-02 4 5
2017-06-03 8 9

總結

該篇部落格主要內容：

1）字串、日期的轉換方法

2）日期和時間的主要python，datetime、timedelta、pandas.to_datetime等

3）以時間為索引的Series和DataFrame的索引、切片

4）帶有重複時間索引時的索引，.groupby(level=0)應用

相關推薦

python+pandas+時間、日期以及時間序列處理

先簡單的瞭解下日期和時間資料型別及工具 python標準庫包含於日期（date）和時間（time）資料的資料型別，datetime、time以及calendar模組會被經常用到。 datetime以毫秒形式儲存日期和時間，datetime.timedelta

Python3中數字、日期以及時間

1、取整操作---round(value,ndigits)函式round(3.14,1) 3.1 round(2.28,1) 2.3 round(3.1415926,3) 3.142當某個值恰好等於兩個整數之間的一半時，取整操作會取到離該值最接近的那個偶數上。(針對pytho

Python+pandas處理時間、日期資料

我們在python對資料進行操作時，經常會選取某一時間段的資料進行分析。常用的兩種用來選取某一時間段資料的函式：datetime()和pd.to_datetime()。 1、 datetime() datetime是Python處理日期和時間的標準庫。

python 有關日期 以及時間戳轉換

nds Coding 代碼 timedelta 格式化輸出 時間 spa date del 直接上代碼 其中有註釋 #coding=utf-8 import time import datetime def yes_time(): #獲取當前時間 n

python 有關datetime時間日期 以及時間戳轉換

#coding=utf-8 import time import datetime def yes_time(): #獲取當前時間 now_time = datetime.datetime.now() #當前時間減去一天 獲得昨天當前時間 yes_time = no

python中時間、日期、時間戳之間的轉換

一、將字串轉換為時間戳 #-*- coding: utf-8 -*- __author__ = 'Sky' import time tm = "2013-10-10 23:40:00" #將其轉換為時間陣列 timeArray = time.strptime(tm, "%

時間、日期選擇器【安卓3】

ear hour getc enable pic style min 判斷 eight TimePicker（時間選擇器） 方法 描述 Integer getCurrentHour () 返回當前設置的小時 Integer getCurren

Python時間，日期，時間戳之間轉換

clas mktime 指定日期 格式 日期格式 del 當前時間 格式轉換 other #1.將字符串的時間轉換為時間戳方法: a = "2013-10-10 23:40:00" #將其轉換為時間數組 import time timeArray = time.strp

Python 調用datetime或者time獲取時間的時候以及時間轉換，最好設置一下時區 否則會出現相差8個小時的情況

時間 問題 date import 服務器 times strftime 都是 col 在使用調用datetime或者time獲取時間的時候以及時間轉換，最好設置一下時區， 因為不同機器設置的時區不同，獲取的時間可能就不對，正好我們使用的這兩個服務器使用的都是東八區，所以沒

Layui彈出層、日期和時間選擇、即時通訊、分頁

怎樣 其中 日期時間 hub scrip 即時通 http 邏輯 asc Layui彈出層、日期和時間選擇、即時通訊、分頁 彈層組件文檔 - layui.layer 對於彈出層的感覺是：layer 至今仍作為 layui 的代表作，她的受眾廣泛並非偶然，而是這數年來的堅持、

python3數字、日期和時間

1、對數值進行取整 #使用內建的round(value,ndigits)函式來取整,ndigits指定保留的位數，在取整時會取值在偶數上，如1.25取一位會取整1.2,1.26會取整1.3 In [1]: round(1.23,1) Out[1]: 1.2 In [2]: round(1.2

時間、日期、時間戳的相互轉換。 2.示例

1.簡介 在編寫程式碼時，往往涉及時間、日期、時間戳的相互轉換。 2.示例 # 引入模組 import time, datetime 2.1 str型別的日期轉換為時間戳 1 # 字元型別的時間 2 tss1 = '2013-10-10 23:40:00' 3 # 轉

python time模組介紹(日期格式化 時間戳)

import time # 1、time.time() 用於獲取當前時間的時間戳, ticks = time.time() print(ticks) # 1545617668.8195682 浮點數 #2、time.localtime() 從返回浮點數的時間戳向時間元組轉換(本地時區)，只要

bootStrap格式化--2.時間、日期、字串

1      顯示 //格式化電話號碼 function arriveTimeFormatter(value, row, index) { return new Date(value)

python獲取當前的日期和時間

# coding=utf-8 import datetime import time print ("格式引數：") print (" %a 星期幾的簡寫") print (" %A 星期幾的全稱") print (" %b 月分的簡寫") print (" %B

java時間、日期使用與查詢

只要格式正確，直接比較字串就可以了呀，精確到秒的也一樣      String   s1   =   "2003-12-12   11:30:24";      String   s2   =   "2004-04-01   13:31:40";      in

javaScript獲取當前時間、日期、月份、季度等

var myDate = new Date(); myDate.getYear(); //獲取當前年份(2位)myDate.getFullYear(); //獲取完整的年份(4位,1970-????) myDate.getMonth(); //獲取當前月份(0-11,0代表

PHP 日期時間 獲取伺服器當前時間、日期 全解析

時間戳：1408729600 時間：2017-04-14 08:52:50 time() UNIX 時間戳（英文叫做：timestamp）表示從 1970年1月1日 00:00:00 到當前時間的秒數之和。 PHP提供了內建函式

js預設當月日期以及時間比較

//將時間轉化成時間戳 function transdate(time){var date=new Date();date.setFullYear(time.substring(0,4));date.setMonth(time.substring(5,7)-1);date.

PHP字串、日期和時間

一、字串函式 1.格式化字串，使用printf() 輸出到螢幕：printf() 輸出到變數：sprintf() 提示：兩個函式使用方法一樣。 1.1 資料型別轉換 printf("This is my number:%o",55);//This is my number