1. 程式人生 > >pandas 讀取csv檔案讀取指定行 讀取csv大檔案分塊讀取方法

pandas 讀取csv檔案讀取指定行 讀取csv大檔案分塊讀取方法

    當用pandas的read_csv函式或者是read_table函式讀取檔案時,如果遇到大的檔案,需要分塊讀取,在這個基礎上可以

讀取指定行,比如讀取標籤全為0的行。

程式碼如下:

f = open(path + r'\train.csv')
reader = pd.read_csv(f, iterator=True, nrows=20000000)
loop = True
chunkSize = 100
chunks = []
while loop:
    try:
        chunk = reader.get_chunk(chunkSize)
        chunks.append(chunk[chunk.is_attributed==1])
    except StopIteration:
        loop = False
        print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)