Python中編碼和字符串
編碼和字符串
編碼
在學習回顧中總結一下ASCII編碼、Unicode編碼和utf-8編碼。
計算機中只能處理數字，我們若要處理文本的話就要將文件轉換為數字。所以，這就涉及該怎樣轉換的問題，也就是編碼問題。
在計算機中使用8個比特（bit）作為一個字節（byte），一個字節最大的表示範圍是255（從0開始），意味著一個字節最多表示256個字符，表示更多的字符需要更多的字節。
ASCII編碼
因為計算機是美國人發明的，所以最早就只有127個字符被編碼到計算機中。127個字符包括大小寫英文字母、數字和一些符號。這個編碼也被稱為ASCII編碼。在ASCII碼表中記錄著127個字符所對應的十六進制和十進制等信息。
附一張ASCII碼表的截圖。
Unicode編碼
見名知意，Unicode編碼的意思就應該是統一編碼之意。早期計算機剛誕生之時只做軍隊和大學研究之用不算普遍，可是後面發展迅速，在很多國家都在廣泛使用計算機。為了能讓各個國家統一處理語言編碼問題就需要一種統一的編碼，最開始的ASCII編碼僅能表示256個字符遠遠不能滿足需求，所以就產生了Unicode編碼。
Unicode編碼最常用的是兩個字節表示一個字符（如果是非常偏僻的字符則需要四個字節）
utf-8
實際上，Unicode的實現方式不同於編碼方式。一個字符的Unicode編碼是確定的。但是在實際傳輸過程中，由於不同系統平臺的設計不一致，以及出於節省空間的目的，對Unicode編碼的實現方式會有所不同。Unicode的實現方式稱為Unicode轉換格式（Unicode Transformation Format，簡稱為UTF）
如果一個僅包含基本7位ASCII字符的Unicode文件，如果每個字符都使用2字節的原Unicode編碼傳輸，其第一字節的8位始終為0。這就造成了比較大的浪費。對於這種情況，可以使用UTF-8編碼，這是一種變長編碼，UTF-8編碼把一個Unicode字符根據不同的數字大小編碼成1-6個字節，常用的英文字母被編碼成1個字節，漢字通常是3個字節，只有很生僻的字符才會被編碼成4-6個字節。
因此，如果你要傳輸的文本包含大量英文字符，用UTF-8編碼就能節省空間。
字符串
在Python3中，文本是Unicode編碼，由str類型表示，二進制數據則由bytes類型表示。
需要註意Python對bytes類型數據用帶b前綴的單引號或雙引號表示如：x=b‘time‘
當數據保存在磁盤上或者在網絡上傳輸時，我們需要將str類型數據轉換為二進制數據類型bytes。
以Unicode表示的str可以通過encode()方法編碼為指定的bytes
>>> ‘ABC‘.encode(‘ascii‘)
b‘ABC‘
>>> ‘中文‘.encode(‘utf-8‘)
b‘\xe4\xb8\xad\xe6\x96\x87‘
>>> ‘中文‘.encode(‘ascii‘)
Traceback (most recent call last):
File "<input>", line 1, in <module>
UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)以上可以也證明中文編碼不能用ascii編碼
如果我們從網絡或磁盤上讀取了字節流，那麽讀到的數據就是bytes。要把bytes變為str，就需要用decode()方法。
當然，bytes中可能包含無法解碼的字節，這時decode()方法會報錯，如果bytes中只有一小部分無效的字節，可以傳入errors=‘ignore‘忽略錯誤的字節
>>> b‘ABC‘.decode(‘ascii‘)
‘ABC‘
>>> b‘\xe4\xb8\xad\xe6\x96\x87‘.decode(‘utf-8‘)
‘中文‘
>>> b‘\xe4\xb8\xad\xff‘.decode(‘utf-8‘)
Traceback (most recent call last):
File "<input>", line 1, in <module>
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xff in position 3: invalid start byte
>>> b‘\xe4\xb8\xad\xff‘.decode(‘utf-8‘,errors=‘ignore‘)
‘中‘
還有一點需要註意一下，len()函數計算的是str的字符數，如果換成bytes，len()函數就計算字節數
>>> len(‘中文‘.encode(‘utf-8‘))
6
>>> len(‘中文‘)
2Python中編碼和字符串