python 模塊 chardet下載及介紹
阿新 • • 發佈:2017-08-21
com pen 測試 變量 得到 文件夾 根據 推薦 如果 在處理字符串時,常常會遇到不知道字符串是何種編碼,如果不知道字符串的編碼就不能將字符串轉換成需要的編碼。面對多種不同編碼的輸入方式,是否會有一種有效的編碼方式?chardet是一個非常優秀的編碼識別模塊。
chardet 是python的第三方庫,需要下載和安裝。下載的地址有:
1.推薦地址: http://download.csdn.net/download/aqwd2008/4256178
2.官方地址: http://pypi.python.org/pypi/chardet
如果采用源代碼安裝方法,有可能會提示缺少setuptools這個模塊。因此這裏我們采用另外一種更為方便的安裝方法,不論你選擇哪種安裝包,將它解壓得到其中的文件夾【chardet】將這個文件夾復制到【python安裝根目錄\Lib\site-packages】下,確保這個位置可以被python引用到。如果不能被引用到請加入環境變量。
在安裝完chardet模塊,我就可以使用它了,來看一段示例代碼。
運行結果表示有99%的概率認為這段代碼是GB2312編碼方式。
另外一個相對高級的應用。
import chardet import urllib #可根據需要,選擇不同的數據 TestData = urllib.urlopen(‘http://www.baidu.com/‘).read() print chardet.detect(TestData) 運行結果: {‘confidence‘: 0.99, ‘encoding‘: ‘GB2312‘}
import urllib from chardet.universaldetector import UniversalDetector usock = urllib.urlopen(‘http://www.baidu.com/‘) #創建一個檢測對象 detector = UniversalDetector() for line in usock.readlines(): #分塊進行測試,直到達到閾值 detector.feed(line)if detector.done: break #關閉檢測對象 detector.close() usock.close() #輸出檢測結果 print detector.result 運行結果: {‘confidence‘: 0.99, ‘encoding‘: ‘GB2312‘}
應用背景,如果要對一個大文件進行編碼識別,使用這種高級的方法,可以只讀一部,去判別編碼方式從而提高檢測速度。
python 模塊 chardet下載及介紹