1. 程式人生 > >Python編碼問題的解決方案總結

Python編碼問題的解決方案總結

blank 獲得 字符集 erro port 使用 odin odi ng2

這裏給大家總結一下幾種會導致編碼問題的案例,並逐一解釋......


案例一:中文輸出是亂碼?

  1. # Python 版本:2.7.6
  2. >>> string1 = "我愛魚C工作室"
  3. >>> string1
  4. ‘\xe6\x88\x91\xe7\x88\xb1\xe9\xb1\xbcC\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4‘
  5. >>> print string1
  6. 我愛魚C工作室
  7. >>> string2 = "I love FishC"
  8. >>> string2
  9. ‘I love FishC‘


問:為何無法直接顯示中文的字符串?

分析:

因為 Python2.x 的版本默認的編碼是 ASCII,ASCII 默認只用一個字節來存放數據。由於中國漢字博大精深,一個字節是不足以存放所有的漢字的。因此,string1 只能打印出中文字符串在內存中的數據,這並不是錯誤。

解決方案:

使用 Python3,因為 Python3 默認使用 UTF-8 編碼。

延伸知識:

1. 可以用以下方法獲得當前的默認編碼:

  1. >>> import sys
  2. >>> sys.getdefaultencoding()
  3. ‘ascii‘


2. 字符集與字符集編碼詳解


案例二:普通字符串和 Unicode 字符串進行拼接拋出 UnicodeDecodeError 異常



  1. >>> string = "我愛" + u"FishC"
  2. Traceback (most recent call last):
  3. File "<stdin>", line 1, in <module>
  4. UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe6 in position 0: ordinal not in range(128)


分析:

使用 + 號進行字符串拼接,左邊是普通字符串,右邊是 Unicode 字符串。當兩種類型的字符串拼接的時候,Python 會自動將左邊的中文字符串轉換為 Unicode 字符串,再進行拼接操作。但由於 "我愛" 的 ASCII 編碼為 ‘\xe6\x88\x91\xe7\x88\xb1‘,其中十六進制 ‘\xe6‘ 對應的值是 230。當編碼值在 0 ~ 127 的時候,Unicode 和 ASCII 是兼容的,轉換不會有什麽問題。但當值大於 128 的時候,ASCII 編碼便不能直接轉換為 Unicode 了。因此,拋出 UnicodeDecodeError。

解決方案:

1. 使用 Python3

2. 指定轉換為 Unicode 的解碼方式:

  1. >>> string = "我愛".decode(‘utf-8‘) + u"FishC"
  2. >>> print string
  3. 我愛FishC


3. 將 Unicode 字符串部分進行編碼:

  1. >>> string = "我愛" + u"FishC".encode("utf-8")
  2. >>> print string
  3. 我愛FishC


延伸知識:

Unicode 編碼系統的發明是為了統一各國文字的編碼,因此把它稱為萬國碼。Unicode 為每種語言設置了唯一的二進制編碼表示方式,也就是說無論哪個國家的語言,都可以在 Unicode 上找到對應的代碼。因此,當不同的編碼系統進行相互轉換的時候,可以利用 Unicode 做一個“中介”。

其他編碼系統到 Unicode 的轉換過程我們稱為解碼(decode),將 Unicode 轉換為其他編碼系統的過程稱之為編碼(encode)。例如 A 編碼需要轉換為 B 編碼,過程如下:

A編碼 -> decode(A) -> Unicode -> encode(B) -> B 編碼


案例三:文件編碼與 Python 編碼不同

test.txt 內容如下,並保存為 GB2312 編碼:

  1. 我愛魚C工作室,真的!


test.py 內容如下:

  1. f1 = open("test.txt")
  2. print(f1.read())
  3. f1.close


代碼執行後會報錯:

  1. >>>
  2. Traceback (most recent call last):
  3. File "/Users/FishC/Documents/Python/test.py", line 4, in <module>
  4. print(f1.read())
  5. File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/encodings/ascii.py", line 26, in decode
  6. return codecs.ascii_decode(input, self.errors)[0]
  7. UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xce in position 0: ordinal not in range(128)


分析:

如果前邊的內容都可以理解了,那麽解決這樣的編碼問題就不再難得住你啦~~~

使用 open 打開文件的編碼格式取決於系統(可以通過 locale.getpreferredencoding() 獲得),認真看報錯信息,這裏系統使用 ASCII 對文件內容進行解碼,遇到錯誤......因為我們知道文件的存放格式是 GB2312,因此我們只需要在打開文件的時候設置 encoding="gb2312" 即可解決問題:

  1. f1 = open("test.txt", encoding="gb2312")
  2. print(f1.read())
  3. f1.close

Python編碼問題的解決方案總結