2. 程式人生 > >03 -1 pandas 中 DataFrame理解與建立、索引、運算的詳解以及例項

03 -1 pandas 中 DataFrame理解與建立、索引、運算的詳解以及例項

阿新 • • 發佈：2018-11-08

DataFrame

DataFrame是一個【表格型】的資料結構，可以看做是【由Series組成的字典】（共用同一個索引）。DataFrame由按一定順序排列的多列資料組成。設計初衷是將Series的使用場景從一維拓展到多維。DataFrame既有行索引，也有列索引。

  • 行索引：index 代表樣本
  • 列索引：columns 代表維度
  • 值：values（numpy的二維陣列）

1）DataFrame的建立

最常用的方法是傳遞一個字典來建立。DataFrame以字典的鍵作為每一【列】的名稱，以字典的值（一個數組）作為每一列。

此外，DataFrame會自動加上每一行的索引（和Series一樣）。

同Series一樣，若傳入的列與字典的鍵不匹配，則相應的值為NaN。

DataFrame的建立

import numpy as np
import pandas as pd
from pandas import Series,DataFrame

通過 DateFrame 函式 建立

df = DataFrame([1,2,3,4])
結果為：
	0
0	1
1	2
2	3
3	4

df = DataFrame([1,2,3,4],index=list("abcd"))
結果為：

	0
a	1
b	2
c	3
d	4

data = np.random.randint(0,150,size=(4,4))
index = ["張三","李四","王五","趙柳"]
columns = ["Math","Chinese","English","Python"]
df = DataFrame(data,index=index,columns=columns)
df
結果為：如下表
Math Chinese English Python
張三 10 145 15 11
李四 125 97 71 130
王五 149 79 149 67
趙柳 133 26 135 70

DataFrame屬性：values、columns、index、shape

df.values #所有的值
結果為：
array([[ 10, 145,  15,  11],
       [125,  97,  71, 130],
       [149,  79, 149,  67],
       [133,  26, 135,  70]])

df.columns # 每一列的標題
結果為：
Index(['Math', 'Chinese', 'English', 'Python'], dtype='object')

df.index #每一行的標題
結果為：
Index(['張三', '李四', '王五', '趙柳'], dtype='object')

df.shape
結果為：
(4, 4）

============================================

練習4：

根據以下考試成績表，建立一個DataFrame，命名為df：

    張三  李四
語文 150  0
數學 150  0
英語 150  0
理綜 300  0

============================================

data = [[150,0],[150,0],[150,0],[150,0]]
index = ["語文","數學","英語","理綜"]
columns = ["張三","李四"]
DataFrame(data=data,index=index,columns=columns)
張三 李四
語文 150 0
數學 150 0
英語 150 0
理綜 150 0

2）DataFrame的索引

(1) 對列進行索引

- 通過類似字典的方式
- 通過屬性的方式

可以將DataFrame的列獲取為一個Series。返回的Series擁有原DataFrame相同的索引，且name屬性也已經設定好了，就是相應的列名。

每一行是一個樣本 每一列是描述這個樣本的維度

df
Math Chinese English Python
張三 10 145 15 11
李四 125 97 71 130
王五 149 79 149 67
趙柳 133 26 135 70 
df["Math"] # 按照字典的方式去從DataFrame裡取資料
結果為
張三     10
李四    125
王五    149
趙柳    133
Name: Math, dtype: int32

type(df["Math"])
結果為：pandas.core.series.Series

df.Math
結果為：
張三     10
李四    125
王五    149
趙柳    133
Name: Math, dtype: int32

(2) 對行進行索引

- 使用.loc[]加index來進行行索引
- 使用.iloc[]加整數來進行行索引

同樣返回一個Series，index為原來的columns。

df["張三"] # columns才能以索引的方式去取 index不行
結果為：
KeyError: '張三'

df.loc["張三"]
結果為：
Math        10
Chinese    145
English     15
Python      11
Name: 張三, dtype: int32

df.iloc[0]
結果為：
Math        10
Chinese    145
English     15
Python      11
Name: 張三, dtype: int32

總結

columns 才能以索引的形式去找 df[“列名”] df.列名

index 不能用索引的方式去找 只能用 loc[] 和 iloc[] 去定位內容

(3) 對元素進行索引

- 使用列索引
- 使用行索引(iloc[3,1]相當於兩個引數;iloc[[3,3]] 裡面的[3,3]看做一個引數)
- 使用values屬性（二維numpy陣列）


df["Math"].loc["張三"]   結果為：10

df["Math"].iloc[0]		結果為：10

df.loc["張三"]
結果為：
Math        10
Chinese    145
English     15
Python      11
Name: 張三, dtype: int32

type(df.loc["張三"])
結果為：
pandas.core.series.Series

df.loc["張三"].loc["Math"]
結果為：10

DataFrame自帶的方式

loc是DataFrame提供的定位元素的方法 ，可以傳入行的名稱去查詢整行，也可以 先傳入行名稱 ，再傳入列名稱 去定位元素，但是不能直接把列的名稱放前面

df.loc["張三","Math"]   結果為：10

df.loc["Math","張三"]  此查詢方法錯誤

# 終極方式
df.values[0,0]        結果為：10

【注意】 直接用中括號時：

  • 索引表示的是列索引
  • 切片表示的是行切片
df
Math Chinese English Python
張三 58 119 94 95
李四 31 7 42 124
王五 59 24 10 52
趙柳 24 2 88 3In [64]: 
df["Math"] #df後面跟中括號作為索引的話 只能傳入列名 對列進行索引 
結果為：
張三     10
李四    125
王五    149
趙柳    133
Name: Math, dtype: int32

df[0:3] #df後面的中括號中 如果傳的是切片的方式 是對行進行切片
結果為：如下表
Math Chinese English Python
張三 10 145 15 11
李四 125 97 71 130
王五 149 79 149 67 
df["Math":"English"] # 如果想對列進行切片
結果如下表：
Math Chinese English Python 
df.iloc[:,0:2] # 需要通過iloc才能對列進行切片
Math Chinese
張三 10 145
李四 125 97
王五 149 79
趙柳 133 26

============================================

練習5：

使用多種方法對df進行索引和切片，並比較其中的區別

============================================

3）DataFrame的運算

（1） DataFrame和數值的運算

df+1 # 所有內容都加一
Math Chinese English Python
張三 11 146 16 12
李四 126 98 72 131
王五 150 80 150 68
趙柳 134 27 136 71 
df["Python"] = df["Python"]+1 #兩種方法是一樣的效果，所以相當於加了兩次
df["Python"]+=1
df
Math Chinese English Python
張三 10 145 15 14
李四 125 97 71 133
王五 149 79 149 70
趙柳 133 26 135 73 
df["Python"]["張三"] +=1
df
Math Chinese English Python
張三 10 145 15 15
李四 125 97 71 133
王五 149 79 149 70
趙柳 133 26 135 73

（2） DataFrame與DataFrame之間的運算

同Series一樣：

  • 在運算中自動對齊不同索引的資料
  • 如果索引不對應，則補NaN

下面是Python 操作符與pandas操作函式的對應表：

Python Operator Pandas Method(s)
+ add()
- sub(), subtract()
* mul(), multiply()
/ truediv(), div(), divide()
// floordiv()
% mod()
** pow() 
df1 = DataFrame(np.random.randint(0,150,size=(5,5)),
                index=list("01234"),
                columns=list("ABCDE"))
df2 = DataFrame(np.random.randint(0,150,size=(5,5)),
                index=list("12345"),
                columns=list("ABCDE"))
display(df1,df2)
A B C D E
0 105 143 70 148 25
1 21 130 78 51 38
2 2 15 146 39 115
3 20 139 58 90 11
4 35 56 64 101 19
A B C D E
1 74 143 12 73 85
2 76 123 30 17 103
3 89 127 84 43 134
4 46 41 97 133 109
5 9 79 102 50 112 
df1+df2 # 行和列索引名都對應 則 對應項相加
A B C D E
0 NaN NaN NaN NaN NaN
1 95.0 273.0 90.0 124.0 123.0
2 78.0 138.0 176.0 56.0 218.0
3 109.0 266.0 142.0 133.0 145.0
4 81.0 97.0 161.0 234.0 128.0
5 NaN NaN NaN NaN NaN

（3） DataFrame和Series之間的運算

df1 = DataFrame(data=np.random.randint(0,150,size=(5,5)),index=list("ABCDE"),columns=list("01234"))
s1 = Series(data=np.random.randint(0,150,size=5),index=list("01234"))
s2 = Series(data=np.random.randint(0,150,size=5),index=list("ABCDE"))
df1
0 1 2 3 4
A 143 31 15 91 81
B 8 64 78 57 9
C 142 116 23 98 114
D 30 113 39 86 113
E 7 0 48 39 122 
s1
結果為：
0     44
1    101
2     67
3     63
4    124
dtype: int32

df1+s1 #series的索引和DataFrame的列索引對應 則每一行對應項相加
0 1 2 3 4
A 114 175 230 192 126
B 183 110 212 106 198
C 86 142 162 88 167
D 226 92 220 52 117
E 198 56 223 56 232 
s2
結果為：
A      7
B     64
C     56
D    141
E     88
dtype: int32

df1
0 1 2 3 4
A 143 31 15 91 81
B 8 64 78 57 9
C 142 116 23 98 114
D 30 113 39 86 113
E 7 0 48 39 122 
df1+s2 #預設是 Series的索引和DataFrame的列索引去對應 然後相加
0 1 2 3 4 A B C D E
A NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
B NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
C NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
D NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
E NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 
df1.add(s2,axis="index")
0 1 2 3 4
A 150 38 22 98 88
B 72 128 142 121 73
C 198 172 79 154 170
D 171 254 180 227 254
E 95 88 136 127 210

============================================

練習6：

  1. 假設df1是期中考試成績，df2是期末考試成績，請自由建立df1和df2，並將相加，求期中期末平均值。
  2. 假設張三期中考試數學被發現作弊，要記為0分，如何實現？
  3. 李四因為舉報張三作弊立功，期中考試所有科目加100分，如何實現？
  4. 後來老師發現有一道題出錯了，為了安撫學生情緒，給每位學生每個科目都加10分，如何實現？

============================================

In [103]:

index = ["張三","李四"]
columns = ["語文","數學","英語"]
data = np.random.randint(0,150,size=(2,3))
df1 = DataFrame(data,index=index,columns=columns)
df1
語文 數學 英語
張三 136 11 96
李四 39 52 91 
index = ["張三","李四"]
columns = ["語文","數學","英語"]
data = np.random.randint(0,150,size=(2,3))
df2 = DataFrame(data,index=index,columns=columns)
df2
語文 數學 英語
張三 28 30 57
李四 27 5 20 
(df1+df2)/2
語文 數學 英語
張三 82.0 20.5 76.5
李四 33.0 28.5 55.5 
df1["數學"].loc["張三"]    			結果為：11

df1.loc["張三"].loc["數學"]=0
df1
語文 數學 英語
張三 136 0 96
李四 39 52 91 
df1.loc["李四"]+=100
df1
語文 數學 英語
張三 136 0 96
李四 139 152 191 
df1+=10
df1
語文 數學 英語
張三 146 10 106
李四 149 162 201

相關推薦

03 -1 pandas 中 DataFrame理解與建立、索引、運算的詳解以及例項

DataFrame DataFrame是一個【表格型】的資料結構，可以看做是【由Series組成的字典】（共用同一個索引）。DataFrame由按一定順序排列的多列資料組成。設計初衷是將Series的使用場景從一維拓展到多維。DataFrame既有行索引，也有列索引。 行索引

Http協議中關於請求與響應中文引數亂碼問題詳解

一、請求 表單裡的引數是字元,在資料傳輸的過程中編碼為utf-8的位元組,tomcat中預設以iso-8859-1的方式解碼,所以必須要修改解碼是查詢的碼錶: 如果是post請求,在獲取引數程式碼之

JavaScript中style.left與offsetLeft的使用及區別詳解

如果父div的position定義為relative,子div的position定義為absolute，那麼子div的style.left的值是相對於父div的值，這同offsetLeft是相同的，區別在於：1. style.left 返回的是字串，如28px，offsetL

python 中join()函式strip() 函式和 split() 函式的詳解及例項

1、join()函式 Python中有join()和os.path.join()兩個函式，具體作用如下： join()： 連線字串陣列。將字串、元組、列表中的元素以指定的字元(分隔符)連線生成一個新的字串 語法： ‘sep’.join(seq) 引數說明 sep：分隔符。可以

Spark與Pandas中DataFrame對比（詳細）

Pandas Spark 工作方式 單機single machine tool，沒有並行機制parallelism 不支援Hadoop，處理大量資料有瓶頸 分散式平行計算框架，內建並行機制parallelism，所有的資料和操作自動並行分佈在各個叢集結點上。以處

[轉]Spark與Pandas中DataFrame對比（詳細）

Pandas Spark 工作方式 單機single machine tool，沒有並行機制parallelism 不支援Hadoop，處理大量資料有瓶頸 分散式平行計算框架，內建並行機制parallelism，所有的資料和操作自動並行分佈在各個叢集結點上。以處理in-memory資料的方式處理distr

Python基礎 | pandas中dataframe的整合與形變(merge & reshape)

[toc] [本文示例資料下載](https://pan.baidu.com/s/1lQIpvwThXRkUJ16Fl4ERNA)，密碼:**vwy3** ```python import pandas as pd # 資料是之前在cnblog上抓取的部分文章資訊 df = pd.read_csv('

pandas中DataFrame

1.2 寫入 合數 like ret dsl class str [] python數據分析工具pandas中DataFrame和Series作為主要的數據結構. 本文主要是介紹如何對DataFrame數據進行操作並結合一個實例測試操作函數。 1）查看DataFrame數據

關於panda中dataframe的與&運算*(stackoverflow高票答案)

pla it is down type tip sel rect sar ann 85 down vote favorite 31 What explains the difference in behavior of boolean and bitwise opera

pandas中DataFrame修改index、columns名的方法

一般常用的有兩個方法： 1、使用DataFrame.index = [newName]，DataFrame.columns = [newName]，這兩種方法可以輕鬆實現。 2、使用rename方法（推薦）： DataFrame.rename（mapper = None，index =

pandas中dataframe的索引使用和轉換為array

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Nov 6 23:44:54 2018 @author: lilong """ import pandas as pd import numpy as

pandas中的stack與unstack簡單描述

　　在用pandas進行資料重排時，經常用到stack和unstack兩個函式。stack簡單理解可以是堆疊，堆積，unstack即“不要堆疊”。下面為較為淺顯的講述該方法，並未涉及到多標籤的問題。 　　常見的資料的層次化結構有兩種，一種是表格，一種是“花括號”，即下面這樣的l兩種形式：

Pandas中DataFrame用法總結

DataFrame：類似於表的資料結構 本文對Pandas包中二維（多維）資料結構DataFrame的特點和用法進行了總結歸納。 可以參考：pandas用法速覽 3.1 增加資料 3.1.1 建立資料框Object Creation import pandas as pd

ExtJS2 0開發與實踐筆記 1 ——ExtJS中的Dialog與Form

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

【python學習筆記】40：Pandas中DataFrame的分組/分割/合併

學習《Python3爬蟲、資料清洗與視覺化實戰》時自己的一些實踐。 DataFrame分組操作 注意分組後得到的就是Series物件了，而不再是DataFrame物件。 import pandas as pd # 還是讀取這份檔案 df = pd.read_csv("

pandas 中DataFrame使用:資料標準化、資料分組、日期轉換、日期格式化、日期抽取

1資料標準化 將資料按比例縮放，使之落入到特定區間，一般我們使用0-1標準化。公式如下： X∗=x−minmax−minX∗=x−minmax−min #導包 import pandas; from pandas import read_csv df=read_c

python—pandas中DataFrame型別資料操作函式

python資料分析工具pandas中DataFrame和Series作為主要的資料結構. 本文主要是介紹如何對DataFrame資料進行操作並結合一個例項測試操作函式。 1）檢視DataFrame資料及屬性 df_obj = DataFrame() #建

pandas 中 dataframe 重複元素個數的獲取

方法有二：1. 在呼叫duplicated方法後，非重複的元素會被標記為False，而重複的元素會被標記為Truecount = 0 for i in users_info['user_id'].duplicated(): if i == True:

Blog-03-在Service中啟動Activity與優化

在Service中啟動Activity 1、建立主Activity，MainActivity。 public class MainActivity extends AppCompatActivity { @Override protecte

pandas中dataframe的to_csv怎麼輸出帶引號的字串

轉載請註明作者（獨孤尚良dugushangliang）出處：https://blog.csdn.net/dugushangliang/article/details/81477419 一直以為pandas的輸出字串不可以帶雙引號，但有時候又需要帶雙引號的字串，怎麼辦呢？