pandas 讀取csv檔案讀取指定行 讀取csv大檔案分塊讀取方法
阿新 • • 發佈:2018-12-31
當用pandas的read_csv函式或者是read_table函式讀取檔案時,如果遇到大的檔案,需要分塊讀取,在這個基礎上可以
讀取指定行,比如讀取標籤全為0的行。
程式碼如下:
f = open(path + r'\train.csv') reader = pd.read_csv(f, iterator=True, nrows=20000000) loop = True chunkSize = 100 chunks = [] while loop: try: chunk = reader.get_chunk(chunkSize) chunks.append(chunk[chunk.is_attributed==1]) except StopIteration: loop = False print("Iteration is stopped.") df = pd.concat(chunks, ignore_index=True)