十九、資料整理（下）

作者：Chris Albon

譯者：飛龍

協議：CC BY-NC-SA 4.0

連線和合並資料幀

# 匯入模組
import pandas as pd
from IPython.display import display
from IPython.display import Image

raw_data = {
        'subject_id': ['1', '2', '3', '4', '5'],
        'first_name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'
 
], 
        'last_name': ['Anderson', 'Ackerman', 'Ali', 'Aoni', 'Atiches']}
df_a = pd.DataFrame(raw_data, columns = ['subject_id', 'first_name', 'last_name'])
df_a

# 建立第二個資料幀
raw_data = {
        'subject_id': ['4', '5', '6', '7', '8'],
        'first_name': ['Billy', 'Brian', 'Bran'
 
, 'Bryce', 'Betty'], 
        'last_name': ['Bonder', 'Black', 'Balwner', 'Brice', 'Btisan']}
df_b = pd.DataFrame(raw_data, columns = ['subject_id', 'first_name', 'last_name'])
df_b

# 建立第三個資料幀
raw_data = {
        'subject_id': ['1', '2', '3', '4', '5', '7', '8', '9', '10', '11'],
        'test_id': [51, 15, 15, 61, 16, 14, 15, 1, 61, 16]}
df_n = pd.DataFrame(raw_data, columns = ['subject_id','test_id'])
df_n

# 將兩個資料幀按行連線
df_new = pd.concat([df_a, df_b])
df_new

# 將兩個資料幀按列連線
pd.concat([df_a, df_b], axis=1)

# 按兩個資料幀按 subject_id 連線
pd.merge(df_new, df_n, on='subject_id')

# 將兩個資料幀按照左和右資料幀的 subject_id 連線
pd.merge(df_new, df_n, left_on='subject_id', right_on='subject_id')

使用外連線來合併。

“全外連線產生表 A 和表 B 中所有記錄的集合，帶有來自兩側的匹配記錄。如果沒有匹配，則缺少的一側將包含空值。” – [來源](http://blog .codinghorror.com/a-visual-explanation-of-sql-joins/)

pd.merge(df_a, df_b, on='subject_id', how='outer')

使用內連線來合併。

“內聯接只生成匹配表 A 和表 B 的記錄集。” – 來源

pd.merge(df_a, df_b, on='subject_id', how='inner')

# 使用右連線來合併
pd.merge(df_a, df_b, on='subject_id', how='right')

使用左連線來合併。

“左外連線從表 A 中生成一組完整的記錄，它們在表 B 中有匹配的記錄。如果沒有匹配，右側將包含空。” – 來源

pd.merge(df_a, df_b, on='subject_id', how='left')

# 合併時新增字尾以複製列名稱
pd.merge(df_a, df_b, on='subject_id', how='left', suffixes=('_left', '_right'))

# 基於索引的合併
pd.merge(df_a, df_b, right_index=True, left_index=True)

列出 pandas 列中的唯一值

特別感謝 Bob Haffner 指出了一種更好的方法。

# 匯入模組
import pandas as pd

# 設定 ipython 的最大行顯示
pd.set_option('display.max_row', 1000)

# 設定 ipython 的最大列寬
pd.set_option('display.max_columns', 50)

# 建立示例資料幀
data = {'name': ['Jason', 'Molly', 'Tina', 'Jake', 'Amy'], 
        'year': [2012, 2012, 2013, 2014, 2014], 
        'reports': [4, 24, 31, 2, 3]}
df = pd.DataFrame(data, index = ['Cochice', 'Pima', 'Santa Cruz', 'Maricopa', 'Yuma'])
df

# 列出 df['name'] 的唯一值
df.name.unique()

# array(['Jason', 'Molly', 'Tina', 'Jake', 'Amy'], dtype=object) 

載入 JSON 檔案

# 載入庫
import pandas as pd

# 建立 JSON 檔案的 URL（或者可以是檔案路徑）
url = 'https://raw.githubusercontent.com/chrisalbon/simulated_datasets/master/data.json'

# 將 JSON 檔案載入到資料框中
df = pd.read_json(url, orient='columns')

# 檢視前十行
df.head(10)

載入 Excel 檔案

# 載入庫
import pandas as pd

# 建立 Excel 檔案的 URL（或者可以是檔案路徑）
url = 'https://raw.githubusercontent.com/chrisalbon/simulated_datasets/master/data.xlsx'

# 將 Excel 檔案的第一頁載入到資料框中
df = pd.read_excel(url, sheetname=0, header=1)

# 檢視前十行
df.head(10)

將 Excel 表格載入為資料幀

# 匯入模組
import pandas as pd

# 載入 excel 檔案並賦給 xls_file
xls_file = pd.ExcelFile('../data/example.xls')
xls_file

# <pandas.io.excel.ExcelFile at 0x111912be0> 

# 檢視電子表格的名稱
xls_file.sheet_names

# ['Sheet1'] 

# 將 xls 檔案 的 Sheet1 載入為資料幀
df = xls_file.parse('Sheet1')
df

載入 CSV

# 匯入模組
import pandas as pd
import numpy as np

raw_data = {'first_name': ['Jason', 'Molly', 'Tina', 'Jake', 'Amy'], 
        'last_name': ['Miller', 'Jacobson', ".", 'Milner', 'Cooze'], 
        'age': [42, 52, 36, 24, 73], 
        'preTestScore': [4, 24, 31, ".", "."],
        'postTestScore': ["25,000", "94,000", 57, 62, 70]}
df = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'preTestScore', 'postTestScore'])
df

# 將資料幀儲存為工作目錄中的 csv
df.to_csv('pandas_dataframe_importing_csv/example.csv')

df = pd.read_csv('pandas_dataframe_importing_csv/example.csv')
df

# 載入無頭 CSV
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', header=None)
df

# 在載入 csv 時指定列名稱
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', names=['UID', 'First Name', 'Last Name', 'Age', 'Pre-Test Score', 'Post-Test Score'])
df

# 通過將索引列設定為 UID 來載入 csv
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', index_col='UID', names=['UID', 'First Name', 'Last Name', 'Age', 'Pre-Test Score', 'Post-Test Score'])
df

# 在載入 csv 時將索引列設定為名字和姓氏
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', index_col=['First Name', 'Last Name'], names=['UID', 'First Name', 'Last Name', 'Age', 'Pre-Test Score', 'Post-Test Score'])
df

# 在載入 csv 時指定 '.' 為缺失值
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', na_values=['.'])
pd.isnull(df)

# 載入csv，同時指定 '.' 和 'NA' 為“姓氏”列的缺失值，指定 '.' 為 preTestScore 列的缺失值
sentinels = {'Last Name': ['.', 'NA'], 'Pre-Test Score': ['.']}

df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', na_values=sentinels)
df

# 在載入 csv 時跳過前 3 行
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', na_values=sentinels, skiprows=3)
df

# 載入 csv，同時將數字字串中的 ',' 解釋為千位分隔符
df = pd.read_csv('pandas_dataframe_importing_csv/example.csv', thousands=',')
df

長到寬的格式

# 匯入模組
import pandas as pd

raw_data = {'patient': [1, 1, 1, 2, 2], 
        'obs': [1, 2, 3, 1, 2], 
        'treatment': [0, 1, 0, 1, 0],
        'score': [6252, 24243, 2345, 2342, 23525]} 
df = pd.DataFrame(raw_data, columns = ['patient', 'obs', 'treatment', 'score'])
df

製作“寬的”資料。

現在，我們將建立一個“寬的”資料幀，其中行數按患者編號，列按觀測編號，單元格值為得分值。

df.pivot(index='patient', columns='obs', values='score')

在資料幀中小寫列名

# 匯入模組
import pan