1. 程式人生 > >Python將一個大檔案按段落分隔為多個小檔案的簡單方法

Python將一個大檔案按段落分隔為多個小檔案的簡單方法

今天幫同學處理一點語料。語料檔案有點大,並且是以連續兩個換行符作為段落標誌,他想把它按段落分隔成多個小檔案,即每3個段落組成一個新檔案。由於以前沒有遇到過類似的操作,在網上找了一些相似的方法,看起來都有點複雜。所以經嘗試,自己寫了一段程式碼,完美解決問題。
基本思路是,先讀原檔案內容,並使用正則表示式,依據\n\n進行切片處理,結果為一個列表,其中每一個列表元素都存放一個切片中的內容;然後建立一個寫檔案的控制代碼;接下來遍歷切片列表,並寫入當前切片內容,判斷是否已經寫入了3個段落,如果不是,則繼續讀寫下一個切片,如果已經夠3個,則關閉之前的寫檔案控制代碼,以不同的檔名重新建立一個新的寫檔案控制代碼,迴圈結束,等待讀寫下一個切片。

# -*- coding:utf8 -*- 
import re;
p=re.compile('\n\n',re.S);
fileContent=open('files/辦公室.txt','r',encoding='utf8').read();#讀檔案內容
paraList=p.split(fileContent) #根據換行符對文字進行切片

fileWriter=open('files/0.txt','a',encoding='utf8');#建立一個寫檔案的控制代碼
for paraIndex in range(len(paraList)):#遍歷切片後的文字列表
    fileWriter.write
(paraList[paraIndex]);#先將列表中第一個元素寫入檔案中 if((paraIndex+1)%3==0):#判斷是否寫夠3個切片,如果已經夠了 fileWriter.close(); #關閉當前控制代碼 fileWriter=open('files/'+str((paraIndex+1)/3)+'.txt','a',encoding='utf8'); #重新建立一個新的控制代碼,等待寫入下一個切片元素。注意這裡檔名的處理技巧。 fileWriter.close();#關閉最後建立的那個寫檔案控制代碼 print('finished');