1. 程式人生 > >Python字符集編碼和檔案讀寫

Python字符集編碼和檔案讀寫

字串編碼
python中預設編碼是ASCII,可以通過以下方式設定和獲取:
import sys
print sys.getdefaultencoding()
sys.setdefaultencoding(
'gbk') 但直到python重新啟動後新的預設編碼才會生效,我試了一下,setdefaultencoding總是會出錯,沒有這個屬性。用dir看,確實沒有,python版本是2.5,不知道是否被取消了。

使用print來輸出時,python將內容傳遞給系統處理,windows會按照系統預設編碼來輸出。如果包含了中文,就要注意幾點。

1 python程式碼檔案的編碼
py檔案預設是ASCII編碼,中文在顯示時會做一個ASCII到系統預設編碼的轉換,這時就會出錯:SyntaxError: Non-ASCII character。需要在程式碼檔案的第一行或第二行新增編碼指示:
1 # coding=gbk2 print'中文'
2 字串的編碼
像上面那樣直接輸入的字串是按照程式碼檔案的編碼來處理的,如果是unicode編碼,有以下三種方式:
1 s1 = u'中文'2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')
unicode是一個內建函式,第二個引數指示源字串的編碼格式。
decode是任何字串具有的方法,將字串轉換成unicode格式,引數指示源字串的編碼格式。
encode也
是任何字串具有的方法,將字串轉換成引數指定的格式

3 系統的預設編碼
對 於中文系統來說,預設的是gbk,gb2312也可以,因為它是gbk的字集。使用print輸出時,字串會被轉換成此格式,隱式轉換時,是從程式碼檔案 編碼格式轉換成gbk,預設是ASCII->GBK。考慮上面第二點,如果字串編碼不是ASCII,則隱式轉換會出錯,需要顯式轉換,使用 encode方法。如果指定了程式碼檔案格式為gbk,則隱式轉換不存在問題。
1 # coding=gbk2 3 = u'中文'4 print s.encode('gbk')
檔案讀寫
只是ASCII或者gbk編碼格式的的檔案讀寫,比較簡單,讀寫如下:
 1 # coding=gbk 2  3 = open('c:/intimate.txt','r'# r 指示檔案開啟模式,即只讀 4 s1 = f.read()
 5 s2 = f.readline()
 6 s3 = f.readlines() #讀出所有內容 7  8 f.close()
 9 10 = open('c:/intimate.txt','w'# w 寫檔案11 f.write(s1)
12 f.writelines(s2) 
# 沒有writeline13 f.close()
f.writelines不會輸出換行符。
unicode檔案讀寫:
 1 # coding=gbk 2 import codecs
 3  4 = codecs.open('c:/intimate.txt','a','utf-8')
 5 f.write(u'中文')
 6 ='中文' 7 f.write(s.decode('gbk'))
 8 f.close()
 9 10 = codecs.open('c:/intimate.txt','r','utf-8')
11 = f.readlines()
12 f.close()
13 for line in s:
14 print line.encode('gbk')
#---------------------------------------------------------------------------------------
以上為轉發的內容,下面為我做的一些補充。 對於上文中'setdefaultencoding總是會出錯'這個問題,可以通過以下方式解決:
import sys
reload(sys)
print sys.getdefaultencoding()
sys.setdefaultencoding(
'utf-8') 通過上面的程式碼,應該就可以把系統的編碼方式更改了. 在我們對一個不規範合法的編碼字串進行解碼時會丟擲異常: >>> s ="/x84/xe5/xb0/x8f/xe6/x98/x8e"
>>> s.decode('utf-8') Traceback (most recent call last):
  File "<interactive input>", line 1, in ?
  File "E:/Program Files/Python24/lib/encodings/utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte

>>>
下面對s進行分析: 把s轉換為二進位制程式碼為:10000100 11100101 10110000 10001111 10110110 10011000 10001011 對這段二進位制程式碼分析:第一個位元組為10000100,而在utf-8編碼規範規定0x80 到 0xBF 範圍內的位元組,只是跟隨位元組, 它們本身並不是字元,因此此處把它放到第一個位元組處不不合法的。然後對第二個位元組進行分析可看出它左邊有三個連續的1,這意味著第二個位元組和隨後的兩個位元組,(即11100101 10110000 10001111 )共三個位元組一起編碼為一個字元。同理可分析出後面的三個位元組編碼為一個字元。 因此我們只要把第一個不合法的位元組去掉,就可以正常解碼了   >>> s ='/xe5/xb0/x8f/xe6/x98/x8e'>>>print s.decode('utf-8')
小明
>>>

問題是如果我們不知道字元裡的不合法位元組的位置時該怎麼進行解碼並的出正常編碼的那些字元的結果呢,我們可以使用如下兩種方法:

>>> s ='/x84/xe5/xb0/x8f/xe6/x98/x8e/x84'
>>> s.decode('utf-8')
Traceback (most recent call last):
  File "<interactive input>", line 1, in ?
  File "E:/Program Files/Python24/lib/encodings/utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>>print s.decode('utf-8''ignore')
小明
>>>print s.decode('utf-8''replace')
?小明?
>>> 由上面的程式碼我們可以看到呼叫decode函式時第二個引數為對於不合法(即錯誤)的位元組處理的方式,預設情況下為'strict',即出現錯誤位元組就丟擲異常。而'ignore'方式,則會忽略字串中不合法的位元組,'replace'方式下會用固定的位元組替換掉那些不合法的位元組。