2. 程式人生 > >【翻譯】Pandas 十分鐘入門

【翻譯】Pandas 十分鐘入門

阿新 • • 發佈：2019-01-08

這是一個簡短的介紹pandas用法，主要面向新使用者。 在Cookbook你可以看到更復雜的方法。

通常，我們匯入以下模組：

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: import matplotlib.pyplot as plt

建立物件

建立一個Series物件：

In [4]: s = pd.Series([1,3,5,np.nan,6,8])

In [5]: s
Out[5]: 
0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    8.0
dtype:
 
 float64

通過numpy陣列建立一個DateFrame物件，包括索引和列標籤：

In [6]: dates = pd.date_range('20130101', periods=6)

In [7]: dates
Out[7]: 
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

In [8]: df = pd.DataFrame(np.random.randn(6
 
,4), index=dates, columns=list('ABCD'))

In [9]: df
Out[9]: 
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972
 
  0.567020  0.276232 -1.087401
2013-01-06 -0.673690  0.113648 -1.478427  0.524988

通過字典方式建立DataFrame物件：

In [10]: df2 = pd.DataFrame({ 'A' : 1.,
   ....:                      'B' : pd.Timestamp('20130102'),
   ....:                      'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
   ....:                      'D' : np.array([3] * 4,dtype='int32'),
   ....:                      'E' : pd.Categorical(["test","train","test","train"]),
   ....:                      'F' : 'foo' })
   ....: 

In [11]: df2
Out[11]: 
     A          B    C  D      E    F
0  1.0 2013-01-02  1.0  3   test  foo
1  1.0 2013-01-02  1.0  3  train  foo
2  1.0 2013-01-02  1.0  3   test  foo
3  1.0 2013-01-02  1.0  3  train  foo

檢視各列的型別：

In [12]: df2.dtypes
Out[12]: 
A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
dtype: object

視覺化資料

檢視首尾行數：

In [14]: df.head()
Out[14]: 
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401

In [15]: df.tail(3)
Out[15]: 
                   A         B         C         D
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401
2013-01-06 -0.673690  0.113648 -1.478427  0.524988

顯示索引，列標籤和底層numpy資料：

In [16]: df.index
Out[16]: 
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

In [17]: df.columns
Out[17]: Index([u'A', u'B', u'C', u'D'], dtype='object')

In [18]: df.values
Out[18]: 
array([[ 0.4691, -0.2829, -1.5091, -1.1356],
       [ 1.2121, -0.1732,  0.1192, -1.0442],
       [-0.8618, -2.1046, -0.4949,  1.0718],
       [ 0.7216, -0.7068, -1.0396,  0.2719],
       [-0.425 ,  0.567 ,  0.2762, -1.0874],
       [-0.6737,  0.1136, -1.4784,  0.525 ]])

describe方法顯示資料的快速統計彙總結果：

In [19]: df.describe()
Out[19]: 
              A         B         C         D
count  6.000000  6.000000  6.000000  6.000000
mean   0.073711 -0.431125 -0.687758 -0.233103
std    0.843157  0.922818  0.779887  0.973118
min   -0.861849 -2.104569 -1.509059 -1.135632
25%   -0.611510 -0.600794 -1.368714 -1.076610
50%    0.022070 -0.228039 -0.767252 -0.386188
75%    0.658444  0.041933 -0.034326  0.461706
max    1.212112  0.567020  0.276232  1.071804

轉置資料：

In [20]: df.T
Out[20]: 
   2013-01-01  2013-01-02  2013-01-03  2013-01-04  2013-01-05  2013-01-06
A    0.469112    1.212112   -0.861849    0.721555   -0.424972   -0.673690
B   -0.282863   -0.173215   -2.104569   -0.706771    0.567020    0.113648
C   -1.509059    0.119209   -0.494929   -1.039575    0.276232   -1.478427
D   -1.135632   -1.044236    1.071804    0.271860   -1.087401    0.524988

按索引排序：

In [21]: df.sort_index(axis=1, ascending=False)
Out[21]: 
                   D         C         B         A
2013-01-01 -1.135632 -1.509059 -0.282863  0.469112
2013-01-02 -1.044236  0.119209 -0.173215  1.212112
2013-01-03  1.071804 -0.494929 -2.104569 -0.861849
2013-01-04  0.271860 -1.039575 -0.706771  0.721555
2013-01-05 -1.087401  0.276232  0.567020 -0.424972
2013-01-06  0.524988 -1.478427  0.113648 -0.673690

按指定列的值排序：

In [22]: df.sort_values(by='B')
Out[22]: 
                   A         B         C         D
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-06 -0.673690  0.113648 -1.478427  0.524988
2013-01-05 -0.424972  0.567020  0.276232 -1.087401

選擇資料

Note：標準Python/Numpy的資料選擇和設定很直觀和方便，但是在生產環境，我們推薦優化的pandas方法，如at, .iat, .loc, .iloc 和 .ix

Geting資料

選擇一列資料，返回Series資料型別，和 df.A 命令等價：

In [23]: df['A']
Out[23]: 
2013-01-01    0.469112
2013-01-02    1.212112
2013-01-03   -0.861849
2013-01-04    0.721555
2013-01-05   -0.424972
2013-01-06   -0.673690
Freq: D, Name: A, dtype: float64

通過 [] 選擇行資料：

In [24]: df[0:3]
Out[24]: 
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804

In [25]: df['20130102':'20130104']
Out[25]: 
                   A         B         C         D
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860

列標籤選擇資料

通過date索引獲取一個橫截面（cross section）資料：

In [26]: df.loc[dates[0]]
Out[26]: 
A    0.469112
B   -0.282863
C   -1.509059
D   -1.135632
Name: 2013-01-01 00:00:00, dtype: float64

多個標籤獲取資料：

In [27]: df.loc[:,['A','B']]
Out[27]: 
                   A         B
2013-01-01  0.469112 -0.282863
2013-01-02  1.212112 -0.173215
2013-01-03 -0.861849 -2.104569
2013-01-04  0.721555 -0.706771
2013-01-05 -0.424972  0.567020
2013-01-06 -0.673690  0.113648

切片資料：

In [28]: df.loc['20130102':'20130104',['A','B']]
Out[28]: 
                   A         B
2013-01-02  1.212112 -0.173215
2013-01-03 -0.861849 -2.104569
2013-01-04  0.721555 -0.706771

在切片資料上精簡維度：

In [29]: df.loc['20130102',['A','B']]
Out[29]: 
A    1.212112
B   -0.173215
Name: 2013-01-02 00:00:00, dtype: float64

獲取一個標量資料：

In [30]: df.loc[dates[0],'A']
Out[30]: 0.46911229990718628

一個更快速獲取標量資料的方法（和上一個方法等同）：

In [31]: df.at[dates[0],'A']
Out[31]: 0.46911229990718628

通過位置獲取資料

通過傳遞一個整數值定位：

In [32]: df.iloc[3]
Out[32]: 
A    0.721555
B   -0.706771
C   -1.039575
D    0.271860
Name: 2013-01-04 00:00:00, dtype: float64

類似Numpy/python，通過切片定位：

In [33]: df.iloc[3:5,0:2]
Out[33]: 
                   A         B
2013-01-04  0.721555 -0.706771
2013-01-05 -0.424972  0.567020

通過整數列表定位：

In [34]: df.iloc[[1,2,4],[0,2]]
Out[34]: 
                   A         C
2013-01-02  1.212112  0.119209
2013-01-03 -0.861849 -0.494929
2013-01-05 -0.424972  0.276232

指定行切片：

In [35]: df.iloc[1:3,:]
Out[35]: 
                   A         B         C         D
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804

指定列切片：

In [36]: df.iloc[:,1:3]
Out[36]: 
                   B         C
2013-01-01 -0.282863 -1.509059
2013-01-02 -0.173215  0.119209
2013-01-03 -2.104569 -0.494929
2013-01-04 -0.706771 -1.039575
2013-01-05  0.567020  0.276232
2013-01-06  0.113648 -1.478427

通過位置獲取值：

In [37]: df.iloc[1,1]
Out[37]: -0.17321464905330858

類似的iat方法：

In [38]: df.iat[1,1]
Out[38]: -0.17321464905330858

布林索引

通過單列值取數：

In [39]: df[df.A > 0]
Out[39]: 
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-04  0.721555 -0.706771 -1.039575  0.271860

一個where操作取值：

In [40]: df[df > 0]
Out[40]: 
                   A         B         C         D
2013-01-01  0.469112       NaN       NaN       NaN
2013-01-02  1.212112       NaN  0.119209       NaN
2013-01-03       NaN       NaN       NaN  1.071804
2013-01-04  0.721555       NaN       NaN  0.271860
2013-01-05       NaN  0.567020  0.276232       NaN
2013-01-06       NaN  0.113648       NaN  0.524988

isin（）方法：

In [41]: df2 = df.copy()

In [42]: df2['E'] = ['one', 'one','two','three','four','three']

In [43]: df2
Out[43]: 
                   A         B         C         D      E
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632    one
2013-01-02  1.212112 -0.173215  0.119209 -1.044236    one
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804    two
2013-01-04  0.721555 -0.706771 -1.039575  0.271860  three
2013-01-05 -0.424972  0.567020  0.276232 -1.087401   four
2013-01-06 -0.673690  0.113648 -1.478427  0.524988  three

In [44]: df2[df2['E'].isin(['two','four'])]
Out[44]: 
                   A         B         C         D     E
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804   two
2013-01-05 -0.424972  0.567020  0.276232 -1.087401  four

賦值

相同索引賦值一列資料：

In [45]: s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))

In [46]: s1
Out[46]: 
2013-01-02    1
2013-01-03    2
2013-01-04    3
2013-01-05    4
2013-01-06    5
2013-01-07    6
Freq: D, dtype: int64

In [47]: df['F'] = s1

通過標籤賦值：

In [48]: df.at[dates[0],'A'] = 0

位置賦值：

In [49]: df.iat[0,1] = 0

numpy陣列賦值：

In [50]: df.loc[:,'D'] = np.array([5] * len(df))

前面操作的結果展示：

In [51]: df
Out[51]: 
                   A         B         C  D    F
2013-01-01  0.000000  0.000000 -1.509059  5  NaN
2013-01-02  1.212112 -0.173215  0.119209  5  1.0
2013-01-03 -0.861849 -2.104569 -0.494929  5  2.0
2013-01-04  0.721555 -0.706771 -1.039575  5  3.0
2013-01-05 -0.424972  0.567020  0.276232  5  4.0
2013-01-06 -0.673690  0.113648 -1.478427  5  5.0

where操作賦值：

In [52]: df2 = df.copy()

In [53]: df2[df2 > 0] = -df2

In [54]: df2
Out[54]: 
                   A         B         C  D    F
2013-01-01  0.000000  0.000000 -1.509059 -5  NaN
2013-01-02 -1.212112 -0.173215 -0.119209 -5 -1.0
2013-01-03 -0.861849 -2.104569 -0.494929 -5 -2.0
2013-01-04 -0.721555 -0.706771 -1.039575 -5 -3.0
2013-01-05 -0.424972 -0.567020 -0.276232 -5 -4.0
2013-01-06 -0.673690 -0.113648 -1.478427 -5 -5.0

缺失資料處理

pandas 主要用np.nan表示缺失資料，預設不列入計算。

reindex方法允許在指定的軸上增/刪/改原索引，返回一個副本：

In [55]: df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])

In [56]: df1.loc[dates[0]:dates[1],'E'] = 1

In [57]: df1
Out[57]: 
                   A         B         C  D    F    E
2013-01-01  0.000000  0.000000 -1.509059  5  NaN  1.0
2013-01-02  1.212112 -0.173215  0.119209  5  1.0  1.0
2013-01-03 -0.861849 -2.104569 -0.494929  5  2.0  NaN
2013-01-04  0.721555 -0.706771 -1.039575  5  3.0  NaN

刪除有缺失值的行：

In [58]: df1.dropna(how='any')
Out[58]: 
                   A         B         C  D    F    E
2013-01-02  1.212112 -0.173215  0.119209  5  1.0  1.0

在缺失值位置填充：

In [59]: df1.fillna(value=5)
Out[59]: 
                   A         B         C  D    F    E
2013-01-01  0.000000  0.000000 -1.509059  5  5.0  1.0
2013-01-02  1.212112 -0.173215  0.119209  5  1.0  1.0
2013-01-03 -0.861849 -2.104569 -0.494929  5  2.0  5.0
2013-01-04  0.721555 -0.706771 -1.039575  5  3.0  5.0

判斷是否缺失，返回布林集：

In [60]: pd.isnull(df1)
Out[60]: 
                A      B      C      D      F      E
2013-01-01  False  False  False  False   True  False
2013-01-02  False  False  False  False  False  False
2013-01-03  False  False  False  False  False   True
2013-01-04  False  False  False  False  False   True

資料操作

Operations 通常排除缺失資料

描述統計：

In [61]: df.mean()
Out[61]: 
A   -0.004474
B   -0.383981
C   -0.687758
D    5.000000
F    3.000000
dtype: float64

同樣操作在標籤維度：

In [62]: df.mean(1)
Out[62]: 
2013-01-01    0.872735
2013-01-02    1.431621
2013-01-03    0.707731
2013-01-04    1.395042
2013-01-05    1.883656
2013-01-06    1.592306
Freq: D, dtype: float64

pandas操作不同維度的資料需要對齊，另外它會按指定的維度方向計算：

In [63]: s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)

In [64]: s
Out[64]: 
2013-01-01    NaN
2013-01-02    NaN
2013-01-03    1.0
2013-01-04    3.0
2013-01-05    5.0
2013-01-06    NaN
Freq: D, dtype: float64

In [65]: df.sub(s, axis='index')
Out[65]: 
                   A         B         C    D    F
2013-01-01       NaN       NaN       NaN  NaN  NaN
2013-01-02       NaN       NaN       NaN  NaN  NaN
2013-01-03 -1.861849 -3.104569 -1.494929  4.0  1.0
2013-01-04 -2.278445 -3.706771 -4.039575  2.0  0.0
2013-01-05 -5.424972 -4.432980 -4.723768  0.0 -1.0
2013-01-06       NaN       NaN       NaN  NaN  NaN

apply方法

applying 函式：

In [66]: df.apply(np.cumsum)
Out[66]: 
                   A         B         C   D     F
2013-01-01  0.000000  0.000000 -1.509059   5   NaN
2013-01-02  1.212112 -0.173215 -1.389850  10   1.0
2013-01-03  0.350263 -2.277784 -1.884779  15   3.0

相關推薦

【翻譯】Pandas 十分鐘入門

這是一個簡短的介紹pandas用法，主要面向新使用者。 在Cookbook你可以看到更復雜的方法。 通常，我們匯入以下模組： In [1]: import pandas as pd In [2]: import numpy as np In [3]: i

【翻譯】Apache Shiro10分鐘教程

做什麽 網頁 cnblogs 讓我 技術 參考手冊 user com 分鐘 本文為翻譯文，原文地址：http://shiro.apache.org/10-minute-tutorial.html 介紹 歡迎來到Apache Shiro的10分鐘教程！ 通過這個教程，你會完全

Python編程：從入門到實踐——【作業】——第十一章（測試代碼）

stc 增加 收集 得到 width .com ast 接受 ted 第十一章 11-1 城市和國家 ： 編寫一個函數， 它接受兩個形參： 一個城市名和一個國家名。 這個函數返回一個格式為City, Country 的字符串， 如Santiago, Chile 。 將這個函

Python編程：從入門到實踐——【作業】——第十四章（記分）

wid ont elif pac rom ext splay 添加 能夠 第十四章 14-1 按P開始新遊戲 ： 鑒於遊戲《外星人入侵》 使用鍵盤來控制飛船， 最好讓玩家也能夠通過按鍵來開始遊戲。 請添加讓玩家在按P時開始遊戲的代碼。 也許這樣做會有所幫助： 將check_

【QT】QT從零入門教程(十)：QT佈局管理QLayout

  介紹完常用控制元件之後，我們發現，之前控制元件的大小位置都是通過resize()、move()來設定的，很不方便，當你修改某個控制元件的位置時，其他控制元件也需要進行調整，容易出現牽一髮而動全身的情況。   QT提供了類QLayout進行佈局管理，能很好解

Ansible-Tower快速入門-1.概覽【翻譯】

概覽 Tower Ansible-Tower是作為Ansible的一個web介面介面，並採用REST API作為端點接入。通過使用開源的orchestration engine，無論是與你的團隊共享操作任務，或是通過REST API與你的Ansible整合,Tower都提供

【QT】QT從零入門教程(十一)：QT自定義視窗

  首先是借鑑了網上的部落格，實現無邊框，自由拖動的自定義視窗效果。 #ifndef CUSTOMWINDOW_H #define CUSTOMWINDOW_H #include <QtGui> #include <QtWidg

Pandas 10分鐘入門（官方文檔註釋版二）

logs ble light col util nump std 我們 部分 本文接續註釋版1，前文重點講述了如何創建一個panads對象，本文重點講述如何查看這些已經創建的對象。 【查看數據】 See the top & bottom ro

Pandas 10分鐘入門----缺失數據的處理（官方文檔註釋版三）

class ble 布爾 code 刪除索引 date method ren 插值 在日常我們獲取的數據中，經常會出現數據缺失的情況。對數據缺失的處理，有多種處理的方法：插值填補、平均值填補方法很多。這裏不具體討論用哪種方式去插補這些數據，而只是談談如何使用panda

【翻譯】 View Frustum Culling --1 View Frustum’s Shape

near com 矩形區域 狀態 翻譯 cnblogs 位置 移動 距離 這是一些列來自lighthouse3d的視錐體裁剪教程。旨在學習總結，及便於查閱。 1、視錐體的形狀 在OpenGL中，透視投影是由兩個函數定義的gluPerspective和gluLookAt

【翻譯】關於vertical-align所有你需要知道的

增加 大寫 內聯 簡單 -s 列表 fin 技術分享 解決方案 本文是翻譯過來的，如果有不對的地方還請指教~，原文鏈接：Vertical-Align: All You Need To Know 前面一些說明，可以略過不看吧 我經常需要對元素進行垂直方向上的布局。 CSS提供

【翻譯】ASP.NET Core 文檔目錄

www asp nbsp .com col actions size 組件 ons 簡介 入門 創建一個Web應用程序 創建一個Web API 教程 基礎 MVC Razor Pages Razor 語法 Model 綁定

【轉】VBA編程入門（二）

mat 復雜 任務 遙控 一次 環境 box range 使用 詳解VBA編程是什麽 由 vietdung90 創建，最後一次修改 2016-10-19 直到 90 年代早期,使應用程序自動化還是充滿挑戰性的領域.對每個需要自動化的應用程序,人們不得不學習一種不

GTD190018:【翻譯】The Case Against Civilization

sed trait intervals cycle variety enter method nor get https://www.newyorker.com/magazine/2017/09/18/the-case-against-civilization

【翻譯】‘BadRabbit’ Ransomware Burrows Into Russia, Ukraine

ati exe rar product ner qcow dns query rep stream 【來源】 ‘BadRabbit’ Ransomware Burrows Into Russia, Ukraine By Raj Samani and Christiaan B

【BZOJ5073】[Lydsy十月月賽]小A的咒語 DP

tro 完全 clas 後綴 string name str int true 【BZOJ5073】[Lydsy十月月賽]小A的咒語 題解：沙茶DP，完全不用後綴數組。 用f[i][j]表示用了A的前i個字符，用了j段，最遠能匹配到哪。因為顯然我們能匹配到的地方越遠越好

【BZOJ5072】[Lydsy十月月賽]小A的樹 樹形DP

etc bits sizeof family mic clas printf namespace size 【BZOJ5072】[Lydsy十月月賽]小A的樹 題解：考慮我們從一個聯通塊中替換掉一個點，導致黑點數量的變化最多為1。所以我們考慮維護對於所有的x，y的最大值和

【BZOJ5074】[Lydsy十月月賽]小B的數字 數學

tchar pre iostream long namespace 數字 main 所有 -- 【BZOJ5074】[Lydsy十月月賽]小B的數字 題解：題目是問你ai*bi>=sum，bi>=0這個不等式組有沒有解。因為a<=10，容易想到取ai的l

【BZOJ5071】[Lydsy十月月賽]小A的數字 發現性質

stream bzoj type 交換 數字 void family 直接 題解 【BZOJ5071】[Lydsy十月月賽]小A的數字 題解：一般遇到這種奇奇怪怪的操作，常用的套路是將原序列差分一下，或者求個前綴和什麽的。本題就是直接對原序列求前綴和，然後發現一次操作相當

【翻譯】在GitHub上通過星級評估排名前10的最受歡迎的開源Delphi項目

href ref -s 編程 強烈 使用 系統 ioc 進行 GitHub上有相當多的Delphi開源項目可以為你節省一些時間。我在GitHub上搜索了Delphi，然後按最主要的項目進行排序，並列出了前十名單。這裏有一些非常好的東西，包括Awesome Delphi（這是