Python3 中的str和bytes類型

Python3最重要的新特性之一是：對字符串和二進制數據流做了明確的區分。文本總是Unicode，由str類型表示，二進制數據則由bytes類型表示。Python3不會以任何隱式的方式混用str和bytes，我們不能拼接字符串和字節流，也無法在字節流裏搜索字符串(反之亦然)，也不能將字符串傳入參數為字節流(反之亦然)。

編碼發展的歷史

在bytes和str之前，需要先說說關於編碼的發展。在計算機歷史的早期，美國為代表的英語系國家主導了整個計算機行業，26個英文字母組成了多樣的英語單詞、語句、文章。因此，最早的字符編碼規範是ASCII碼，一種8位即一個字節碼的編碼規範

什麽是編碼？編碼就是把一個字符用一個二進制來表示。我們都知道，所有的東西，不管是英文、中文還是符號等等，最終存儲在磁盤上都是010101這類東西。在計算機內部，讀取和存儲數據歸根結底，處理的都是0和1組成的比特流。問題來了，人類看不懂這些比特流，如何讓這些010101對認類變得可讀呢？於是出現了字符編碼，他是個翻譯機，在計算機內部某個地方，透明的幫助我們將比特流翻譯成認類可以直接理解的文字。對於一般用戶，不需要知道這個過程是什麽原理，是怎麽執行的，但是對於程序員卻是個必須搞清楚的問題。
以ASCII編碼為例，它規定1個字節8比特位代表1個字符的編碼，也就是"00000000"這麽寬，一個一個字節的解讀。例如：01000001表示大寫字母A，有時候我們會用65這個十進制來表示A在ASCII中的編碼。8個比特位，可以沒有重復的最多表示2的8次方(255)個字符。

後來計算機得到普及，中文、日文、韓文等等國家的文字需要在計算機內表示，ASCII的255個遠遠不夠。於是標準組織制定出了叫做Unicode的萬國碼，它規定任何一個字符(不管哪國的)至少以2個字節表示，可以更多。其中，英文字母就是用2個字節，而漢字是3個字節。這個編碼雖然好，滿足了所有人的要求，但是它不兼容ASCII，同時還占用較多的內存空間。因為在計算機世界更多的字符是英文字母，明明可以用1個字節就能夠表示，非要用2個。
於是UTF-8(針對Unicode的可變長度字符編碼)編碼應運而生，它規定英文字母系列用1個字節表示，漢字用3個字節表示等等。因此，它兼容ASCII，可以節碼早期的文檔，很快UTF-8就得到了廣泛的應用。在編碼的發展歷程中，我國還創造了自己的編碼方式，例如：GBK、GB2312、BIG5，它們只局限在國內使用，不被國外認可。在GBK編碼中，中文漢字占2個字節。

bytes和str之間的異同

回到bytes和str之上，bytes是一種比特流，它的存在形式是01010011這種。我們無論是在寫代碼，還是在閱讀文章的過程中，肯定不會有人直接閱讀這種比特流，他必須有一種編碼方式，使得它變成有意義的比特流，而不是一堆晦澀難懂的01組合。因為編碼方式的不同，對這個比特流的解讀也會不同，對實際使用造成了很大的困擾。下面我們看看Python是如何處理這一系列編碼問題的：

>>> s = "中文"
>>> s
‘中文‘
>>> type(s)
<class ‘str‘>
>>> b = bytes(s, encoding="utf-8")
>>> b
b‘\xe4\xb8\xad\xe6\x96\x87‘
>>> type(b)
<class ‘bytes‘>

從上面的例子可以看出，s是個字符串類型。Python的內置函數bytes()可以將字符串str類型轉換成bytes類型，b實際上是一串01的組合，但為了在ide環境中讓我們相對直觀的觀察，它被變現成了b‘\xe4\xb8\xad\xe6\x96\x87‘這種形式，開頭的b表示這是一個bytes類型。\xe4是十六進制的表示方式，它占用1個字節的長度，因此"中文"被編碼成utf-8後，我們可以數得出一共用了6個字節，每個漢字占用3個，這印證了上面的論述。在使用內置函數bytes()時，必須明確encoding的參數，不可省略。

我們都知道，字符串類型str裏有一個encode()方法，它是從字符串向比特流的編碼過程。而bytes類型恰好有個decode()方法，它是從比特流向字符串解碼的過程。除此之外，我們查看Python的源碼會發現bytes和str擁有幾乎一摸一樣的方法列表，最大的區別就是encode和decode。從實質上來說，字符串在磁盤上的保存形式也是01的組合，也需要編碼和解碼。如果，上面的闡述還不能讓你搞清楚兩者的區別，那麽請記住下面幾句話：

• 1.在將字符串存入磁盤和從磁盤中讀取的過程中，Python自動地幫助我們完成了編碼和解碼的工作，我們不需要關心其過程；
• 2.使用bytes類型，實際上是告訴Python，不需要它幫我們自動地完成編碼和解碼的工作，而是用戶自己手動進行，並指定編碼格式；
• 3.Python已經嚴格區分了bytes和str兩種數據類型，我們不能在需要bytes類型參數的時候使用str參數，反之亦然，這點在讀寫磁盤文件時容易碰到；

在bytes和str的互相轉換過程中，實際就是編碼和解碼的過程，必須顯示地指定編碼格式：

>>> b
b‘\xe4\xb8\xad\xe6\x96\x87‘
>>> type(b)
<class ‘bytes‘>
>>> res = str(b)
>>> res
"b‘\\xe4\\xb8\\xad\\xe6\\x96\\x87‘"
>>> type(res)
<class ‘str‘>
>>> result = str(b, encoding="utf-8")
>>> result
‘中文‘
>>> type(result)
<class ‘str‘>

我們再把res轉換成GBK編碼的bytes類型：

>>> gbk_b = bytes(result, encoding="gbk")
>>> gbk_b
b‘\xd6\xd0\xce\xc4‘
>>> s = str(gbk_b, encoding="gbk")
>>> s
‘中文‘
>>> type(s)
<class ‘str‘>

Python 3中的str和bytes類型