使用python讀寫CSV檔案的三種方法
阿新 • • 發佈:2019-02-12
Python讀寫csv檔案
覺得有用的話,歡迎一起討論相互學習~Follow Me
前言
逗號分隔值(Comma-Separated Values,CSV,有時也稱為字元分隔值,因為分隔字元也可以不是逗號),其檔案以純文字形式儲存表格資料(數字和文字)。純文字意味著該檔案是一個字元序列,不含必須像二進位制數字那樣被解讀的資料。CSV檔案由任意數目的記錄組成,記錄間以某種換行符分隔;每條記錄由欄位組成,欄位間的分隔符是其它字元或字串,最常見的是逗號或製表符。通常,所有記錄都有完全相同的欄位序列.
特點
- 讀取出的資料一般為字元型別,如果是數字需要人為轉換為數字
- 以行為單位讀取資料
- 列之間以半形逗號或製表符為分隔,一般為半形逗號
- 一般為每行開頭不空格,第一行是屬性列,資料列之間以間隔符為間隔無空格,行之間無空行。
行之間無空行十分重要,如果有空行或者資料集中行末有空格,讀取資料時一般會出錯,引發[list index out of range]錯誤。PS:已經被這個錯誤坑過很多次!
使用python I/O寫入和讀取CSV檔案
使用PythonI/O寫入csv檔案
- 以下是將”birthweight.dat”低出生體重的dat檔案從作者源處下載下來,並且將其處理後儲存到csv檔案中的程式碼。
import csv
import os
import numpy as np
import random
import requests
# name of data file
# 資料集名稱
birth_weight_file = 'birth_weight.csv'
# download data and create data file if file does not exist in current directory
# 如果當前資料夾下沒有birth_weight.csv資料集則下載dat檔案並生成csv檔案
if not os.path.exists(birth_weight_file):
birthdata_url = 'https://github.com/nfmcclure/tensorflow_cookbook/raw/master/01_Introduction/07_Working_with_Data_Sources/birthweight_data/birthweight.dat'
birth_file = requests.get(birthdata_url)
birth_data = birth_file.text.split('\r\n')
# split分割函式,以一行作為分割函式,windows中換行符號為'\r\n',每一行後面都有一個'\r\n'符號。
birth_header = birth_data[0].split('\t')
# 每一列的標題,標在第一行,即是birth_data的第一個資料。並使用製表符作為劃分。
birth_data = [[float(x) for x in y.split('\t') if len(x) >= 1] for y in birth_data[1:] if len(y) >= 1]
print(np.array(birth_data).shape)
# (189, 9)
# 此為list資料形式不是numpy陣列不能使用np,shape函式,但是我們可以使用np.array函式將list物件轉化為numpy陣列後使用shape屬性進行檢視。
with open(birth_weight_file, "w", newline='') as f:
# with open(birth_weight_file, "w") as f:
writer = csv.writer(f)
writer.writerows([birth_header])
writer.writerows(birth_data)
f.close()
常見錯誤list index out of range
- 其中我們重點需要講的是 with open(birth_weight_file, “w”, newline=”) as f: 這個語句。表示寫入csv檔案,如果不加上引數 newline=” 表示以空格作為換行符,而是用 with open(birth_weight_file, “w”) as f: 語句。則生成的表格中會出現空行。
- 不僅僅是用python I/O進行csv資料的讀寫時,利用其餘方法讀寫csv資料,或者從網上下載好csv資料集後都需要檢視其每行後有沒有空格,或者有沒有多餘的空行。避免不必要的錯誤~影響資料分析時的判斷。
使用PythonI/O讀取csv檔案
- 使用python I/O方法進行讀取時即是新建一個List 列表然後按照先行後列的順序(類似C語言中的二維陣列)將資料存進空的List物件中,如果需要將其轉化為numpy 陣列也可以使用np.array(List name)進行物件之間的轉化。
birth_data = []
with open(birth_weight_file) as csvfile:
csv_reader = csv.reader(csvfile) # 使用csv.reader讀取csvfile中的檔案
birth_header = next(csv_reader) # 讀取第一行每一列的標題
for row in csv_reader: # 將csv 檔案中的資料儲存到birth_data中
birth_data.append(row)
birth_data = [[float(x) for x in row] for row in birth_data] # 將資料從string形式轉換為float形式
birth_data = np.array(birth_data) # 將list陣列轉化成array陣列便於檢視資料結構
birth_header = np.array(birth_header)
print(birth_data.shape) # 利用.shape檢視結構。
print(birth_header.shape)
#
# (189, 9)
# (9,)
使用Pandas讀取CSV檔案
import pandas as pd
csv_data = pd.read_csv('birth_weight.csv') # 讀取訓練資料
print(csv_data.shape) # (189, 9)
N = 5
csv_batch_data = csv_data.tail(N) # 取後5條資料
print(csv_batch_data.shape) # (5, 9)
train_batch_data = csv_batch_data[list(range(3, 6))] # 取這20條資料的3到5列值(索引從0開始)
print(train_batch_data)
# RACE SMOKE PTL
# 184 0.0 0.0 0.0
# 185 0.0 0.0 1.0
# 186 0.0 1.0 0.0
# 187 0.0 0.0 0.0
# 188 0.0 0.0 1.0
使用Tensorflow讀取CSV檔案
- 本人在平時一般都是使用Tensorflow處理各類資料,所以對於使用Tensorflow讀取資料在此不過多的進行解釋。下面貼上一段程式碼,如果有不懂的地方可以看我原來的部落格內容。
'''使用Tensorflow讀取csv資料'''
filename = 'birth_weight.csv'
file_queue = tf.train.string_input_producer([filename]) # 設定檔名佇列,這樣做能夠批量讀取資料夾中的檔案
reader = tf.TextLineReader(skip_header_lines=1) # 使用tensorflow文字行閱讀器,並且設定忽略第一行
key, value = reader.read(file_queue)
defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]] # 設定列屬性的資料格式
LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)
# 將讀取的資料編碼為我們設定的預設格式
vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI]) # 讀取得到的中間7列屬性為訓練特徵
vertor_label = tf.stack([BWT]) # 讀取得到的BWT值表示訓練標籤
# 用於給取出的資料新增上batch_size維度,以批處理的方式讀出資料。可以設定批處理資料大小,是否重複讀取資料,容量大小,佇列末尾大小,讀取執行緒等屬性。
example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)
# 初始化Session
with tf.Session() as sess:
coord = tf.train.Coordinator() # 執行緒管理器
threads = tf.train.start_queue_runners(coord=coord)
print(sess.run(tf.shape(example_batch))) # [10 7]
print(sess.run(tf.shape(label_batch))) # [10 1]
print(sess.run(example_batch)[3]) # [ 19. 91. 0. 1. 1. 0. 1.]
coord.request_stop()
coord.join(threads)
'''
對於使用所有Tensorflow的I/O操作來說開啟和關閉執行緒管理器都是必要的操作
with tf.Session() as sess:
coord = tf.train.Coordinator() # 執行緒管理器
threads = tf.train.start_queue_runners(coord=coord)
# Your code here~
coord.request_stop()
coord.join(threads)
'''
還有其他使用python讀取檔案的各種方法,這裡介紹三種,不定期進行補充。