在 Python 尤其是 Python2 中，編碼問題是困擾開發者尤其初學者的一大問題。什麼 Unicode/UTF-8/str ，又是 decode/encode 的，搞得人頭都大了。其實不然，這有點類似 Java 中 java.io 包一樣，看似龐大難懂，但是可以非常精細地定製需求。

編碼

計算機只可以儲存和處理二進位制資料，所以從文字到計算機可以識別的二進位制之間需要一道對應關係。於是便有了ASCII（American Standard Code for Information Interchange，美國標準資訊交換程式碼），ASCII使用7位二進位制數標記了128(2**7)字元（符號、字母、控制符等），由於1byte=8bit，所以乾脆最高位補個0，湊夠8位以方便計算和處理。

接著，拉丁語系的技術宅們發現，這128個字元的高位空著的，那麼幹脆用來表示拉丁語系的主要符號吧，還是使用單位元組，但是可以表示的字元數量增加了一倍。這套編碼叫做latin-1(iso-8859-1)。

這些宅男們沒有想到，區區一個位元組256個符號，對於東亞國家來講，簡直呵呵了。拿中文為例，僅常用字元就幾千個，於是中國國家標準總局制定了一套中文編碼——GB2312。GB2312通過兩個位元組表示一個漢字，且最高位為0的部分相容ASCII，最高位為1的部分則通過連續的兩個位元組表示一箇中文字。後來又出現了相容GB2312的GBK編碼。

到這裡，依然面臨了一個問題：GB2312或者GBK編碼中，僅可以表示漢字和英文字元，無法做到多語言文字同時表示。這時候，Unicode(又稱萬國碼)出現了。Unicode採用32位二進位制(4位元組)表示一個字元，這樣便可以一套編碼對應多種不同語言。Unicode是一種編碼，它的作用是指定字元到二進位制數之間的對應關係。但是對於儲存和傳輸，Unicode有幾種不同的實現，比較常用的是UTF-8、UTF-16、UTF-32。UTF-32中，每個字元固定佔4位元組，按照Unicode編碼完全對映。而UTF-8和UTF-16則屬於變長編碼，分別使用最少1個(UTF-8)或2個(UTF-16)位元組到最多4個位元組來編碼。

Python原始碼的編碼

Python2中，如果在原始碼首行(或在指定sha-bang時的第二行)不顯式指定編碼，則無法在原始碼中出現非ASCII字元。這是由於Python直譯器預設將原始碼認作ASCII編碼格式。PEP263(點選這裡檢視)中約定，可以通過如下方式之一來宣告原始碼的編碼格式：

Python中的編碼

Python中有兩個常用的由basestring派生出來的表示字串的型別：str,unicode。其中，str類似於C中的字元陣列或者Java中的byte陣列，事實上你可以將它理解為一個儲存二進位制內容的容器，str不儲存編碼資訊，如果對str型別的字串迭代的話，則會按照其在記憶體中的位元組序依次迭代，意味著如果這個字串儲存的是多位元組字元（Unicode/GBK等），則會截斷這個字元，演示如下：

而對於unicode型別，Python在記憶體中儲存和使用的時候是按照UTF-8格式，在程式碼中的表示為字串前加u，如：

而unicode與str之間的轉換，則用到了encode和deocde方法。decode表示將一個(str)字串按照給定的編碼解析為unicode型別，encode則表示將一個unicode字串按照指定編碼解析為位元組陣列(str)：

檔案讀寫

內建的open函式開啟檔案時，read方法讀取的是一個str(私以為叫做位元組陣列更合適)，如果讀取的是其它編碼的文字，則需要decode之後再做使用。

對於使用open函式開啟檔案之後的寫操作（多位元組編碼的字串），則需要將需要寫入的字串按照其編碼encode為一個str，如果直接寫入，則會引發如下錯誤（如果在程式碼中加入了encoding宣告，則會按照宣告的編碼格式encode後寫入）：

除此以外，codecs模組也提供了一個open函式，可以直接指定好編碼開啟一個文字檔案，那麼讀取到的檔案內容則直接是一個unicode字串。對應的指定編碼後的寫入檔案，則可以直接將unicode寫到檔案中。通過codecs.open可以避免很多編碼問題：

建議

對於Python程式碼中避免遇到編碼問題，有一些小建議：

• 字元編碼宣告：在程式碼開頭宣告編碼格式
• 使用codecs的open函式處理文字檔案
• 儘可能使用unicode而不是str：在所有字串的引號前加u

打賞支援我寫出更多好文章，謝謝！

打賞作者

打賞支援我寫出更多好文章，謝謝！