1. 程式人生 > >PYTHON讀取大文字檔案時的注意事項

PYTHON讀取大文字檔案時的注意事項

1.

<span style="font-family:Arial;background-color: rgb(255, 255, 255);">
</span>
f = open("bigFile.txt", "r")
while True:
    line = f.readline()
    if line:
        pass    # do something here
    else:
        break
f.close()

2

f = open("bigFile.txt", "r")
for line in f:
    pass    # do something here
f.close()

3

f=open('bigFile.txt','r')
while 1:
    l=f.readline()
    if l=='':
        break
    ####
    #l=l.split()
f.close()

大檔案時推薦第三種,不會卡死

遇到檔案中間含有終止符的情況,使用雙重驗證;若還是不行,以二進位制‘rb’開啟

while 1: 
     line=f.readline() 
     if line=='': 
         tmp=f.readline() 
         if tmp=='': 
             f.close();break 
         else: 
             pass 
     count+=1 
     print count 
-- 


相關推薦

PYTHON讀取文字檔案注意事項

1. <span style="font-family:Arial;background-color: rgb(255, 255, 255);"> </span>f = open("bigFile.txt", "r") while True:

通過cmd命令讀取文字檔案的行數

場景:通過程式 把一個檔案中的所有內容讀到記憶體中,再去判斷行數。通過這種方法,很可能超過半小時(1個15MB左右的文字檔案) 而得不到結果。 而通過使用cmd命令,卻能在非常短的時間內得到行數。 測試結果:(測試環境:win 7, 64bit,  8G記憶體) 通過cm

安卓按鍵的回車換行符和讀取寫入txt檔案注意事項

我們用安卓按鍵寫指令碼  有一個地方經常容易困惑  比如我明明在電腦上寫好的txt檔案 轉移到手機上開啟 就會全部內容都在一個整行   會造成一些讀取寫入和檢視的不方便  糟糕的時候會導致讀取寫入失敗

python讀取檔案的方法 python計算檔案的行數和讀取某一行內容的實現方法

 python計算檔案的行數和讀取某一行內容的實現方法 :最簡單的辦法是把檔案讀入一個大的列表中,然後統計列表的長度.如果檔案的路徑是以引數的形式filepath傳遞的,那麼只用一行程式碼就可以完成我們的需求了:   1、http://blog.csdn.net/shudaq

python讀取檔案和普通檔案

讀取檔案,最常見的方式是: with open('filename', 'r', encoding = 'utf-8') as f: for line in f.readlines(): do_something(line) 但是,當完成這一操作時,readlines()

Python 讀取檔案的方式

對於讀取容量小的檔案,可以使用下面的方法: with open("path", "r") as f: f.read() 但是如果檔案容量很大,高達幾個G或者十幾個G,使用上面這種方式就容易造成記憶體溢位的問題,所以如果進行大容量的檔案讀取建議使用下面這種方式: with open

讀取相對路徑下的.properties檔案內容注意事項

1、一般在網上搜的方法都是: public static void main(String[] args) throws IOException { Properties prop = new Properties(); InputStream in = Object.

Python 讀取檔案

最近在學習python的過程中接觸到了python對檔案的讀取。python讀取檔案一般情況是利用open()函式以及read()函式來完成:f = open(filename,'r') f.read()這種方法讀取小檔案,即讀取遠遠大小小於記憶體的檔案顯然沒有什麼問題。但是

Python讀取檔案(下)

上篇講到如何寫一個python程式去處理大檔案的內容讀取。 中間涉及了幾個很關鍵的概念, 可迭代物件, 生成器和檔案物件。  本篇解釋下這幾個概念。  可迭代物件: 在python中一個列表,就是一個可迭代物件,同時它也是迭代器。我們可以用for i in mylist

Python解析XML檔案讀取XML不全的問題

之前用python的minidom寫過解析xml的指令碼檔案,在前期是比較好用的,因為xml檔案比較小。但是當xml檔案超過了70M的時候,minidom不僅效率低,而且會佔用非常大的記憶體空間,因為他是將整個xml讀入進去並且按照整個xml樹進行建樹(雖然這樣寫程式碼邏輯

java讀取預設編碼是ansi的文字檔案,解決中文亂碼問題

// 封裝文字檔案 File file = new File("d:/test11.txt"); // BufferedReader br = new BufferedReader(new FileR

python讀取 .txt 文字內容以及將程式執行結果寫入txt檔案

** 1、讀入篇 ** python對處理文字這方面還是很有優勢的,像普通1G左右的文字都可以直接讀到記憶體中去處理,進行文字處理的速度是非常的快。 話不多說,上程式碼,講思路。 #c

使用python讀取檔案

python中讀取資料的時候有幾種方法,無非是read,readline,readlings和xreadlines幾種方法,在幾種方法中,read和xreadlines可以作為迭代器使用,從而在讀取大

java在讀取文字檔案出現中文字元亂碼的解決方法

1.首先將要讀取的文字檔案的編碼格式設定為UTF-82.使用InputStreamReader類取讀取檔案,因為它的構造方法中可以指定字符集,將它的字符集指定為UFT-8的格式。例:BufferedReader buff = new BufferedReader(new In

python 讀取文件

treat pan 出現 擔心 code including open hand you 要讀取個大文件,文件大概是3G左右,擔心read會出現內存溢出的情況,網上找了個靠譜的用法: with open(...) as f: for line in f:

python 讀取文件越來越慢(判斷 key 在 map 中,千萬別用 in keys())

方案 使用 tail 千萬 上傳 true 文件夾 blog alt 背景: 今天樂樂姐寫代碼,讀取一個四五百兆的文件,然後做一串的處理。結果處理了一天還沒有出來結果。問題出在哪裏呢? 解決: 1. 樂樂姐打印了在不同時間點的時間,直接print time() 即可。發

python讀取文件的方法

href 形式 art source logs 簡單 body med tle python計算文件的行數和讀取某一行內容的實現方法 :最簡單的辦法是把文件讀入一個大的列表中,然後統計列表的長度.如果文件的路徑是以參數的形式filepath傳遞的,那麽只用一行代碼就可以

Python讀寫txt檔案的編碼問題

  這個問題來自於一個小夥伴,他在處理中文資料時需要先把裡面的文字過濾然後分詞,因為裡面有許多符號,不僅是中文標點符號,還有✳,emoji等奇怪的符號。   正常情況下,中文的str經過encode('utf-8')變成bytes,然後bytes經過decode('utf-8')變回中文。   原始檔案是

關於 類 Scanner掃描檔案注意事項

如果檔案或流有中文 ,如果用Scanner建構函式Scanner(File source) 則對File的掃描結果為空 ,呼叫 boolean hasNext() 方法會永遠返回false ;如果是 Scanner(In

python列表推導生成字典的注意事項

由於python的強大,使用其他語言語言需要寫十多行甚至幾十行的程式碼,在python中只需要一行就可以完成。 比如下面三種生成字典的方式:(區別在於右花括號的位置和鍵的生成方式) print([{"i":i} for i in range(10)]) print() print([{"