字元是各種文字和符號的總稱，包括各國家文字、標點符號、圖形符號、數字等。字符集是多個字元的集合，字符集種類較多，每個字符集包含的字元個數不同，常見字符集名稱：ASCII字符集、GB2312字符集、BIG5字符集、 GB 18030字符集、Unicode字符集等。計算機要準確的處理各種字符集文字，需要進行字元編碼，以便計算機能夠識別和儲存各種文字。

中文文字數目大，而且還分為簡體中文和繁體中文兩種不同書寫規則的文字，而計算機最初是按英語單位元組字元設計的，因此，對中文字元進行編碼，是中文資訊交流的技術基礎。本文將按照字符集的時間順序討論幾種典型的字符集，選取幾種代表性的中文字符集，研究歷史由來、特點、技術特徵。

漢字編碼範圍

名稱 第一位元組 第二位元組

GB2312 0xB0-0xF7(176-247)    0xA0-0xFE（160-254）

GBK 0x81-0xFE（129-254）     0x40-0xFE（64-254）

Big5 0x81-0xFE（129-255）     0x40-0x7E（64-126）

0xA1－0xFE（161-254）

ASCII 字符集

1．名稱的由來

ASCII（American Standard Code for Information Interchange，美國資訊互換標準程式碼）是基於羅馬字母表的一套電腦編碼系統。

2．特點

它主要用於顯示現代英語和其他西歐語言。它是現今最通用的單位元組編碼系統，並等同於國際標準ISO 646。

3．包含內容

控制字元：回車鍵、退格、換行鍵等。

可顯示字元：英文大小寫字元、阿拉伯數字和西文符號

4．技術特徵

7位（bits）表示一個字元，共128字元

5．ASCII擴充套件字符集

7位編碼的字符集只能支援128個字元，為了表示更多的歐洲常用字元對ASCII進行了擴充套件，ASCII擴充套件字符集使用8位（bits）表示一個字元，共256字元。

ASCII擴充套件字符集比ASCII字符集擴充出來的符號包括表格符號、計算符號、希臘字母和特殊的拉丁符號。

GB2312 字符集

 1．名稱的由來

GB2312又稱為GB2312-80字符集，全稱為《資訊交換用漢字編碼字符集·基本集》，由原中國國家標準總局釋出，1981年5月1日實施。

2．特點

GB2312是中國國家標準的簡體中文字符集。它所收錄的漢字已經覆蓋99.75%的使用頻率，基本滿足了漢字的計算機處理需要。在中國大陸和新加坡獲廣泛使用。

3．包含內容

GB2312收錄簡化漢字及一般符號、序號、數字、拉丁字母、日文假名、希臘字母、俄文字母、漢語拼音符號、漢語注音字母，共 7445 個圖形字元。其中包括6763個漢字，其中一級漢字3755個，二級漢字3008個；包括拉丁字母、希臘字母、日文平假名及片假名字母、俄語西裡爾字母在內的682個全形字元。

4．技術特徵

（1）分割槽表示：

GB2312中對所收漢字進行了“分割槽”處理，每區含有94個漢字/符號。這種表示方式也稱為區位碼。

各區包含的字元如下：01-09區為特殊符號；16-55區為一級漢字，按拼音排序；56-87區為二級漢字，按部首/筆畫排序；10-15區及88-94區則未有編碼。

（2）雙位元組表示

兩個位元組中前面的位元組為第一位元組，後面的位元組為第二位元組。習慣上稱第一位元組為“高位元組” ，而稱第二位元組為“低位元組”。

“高位位元組”使用了0xA1-0xF7 (把01-87區(88-94區未有編碼)的區號加上0xA0)，“低位位元組”使用了0xA1-0xFE (把01-94加上0xA0)。

5．編碼舉例

以GB2312字符集的第一個漢字“啊”字為例，它的區號16，位號01，則區位碼是1601，在大多數計算機程式中，高位元組和低位元組分別加0xA0得到程式的漢字處理編碼0xB0A1。計算公式是：0xB0=0xA0+16, 0xA1=0xA0+1。

GBK 字符集

1．名稱的由來

GBK是GB2312的擴充套件，是向上相容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關係我還沒有弄明白，好像是不一致的。

2. 特點

GBK中

一 預備知識
1，字元：字元是抽象的最小文字單位。它沒有固定的形狀（可能是一個字形），而且沒有值。“A”是一個字元，“ ”（德國、法國和許多其他歐洲國家通用貨幣的標誌）也是一個字元。“中”“國”這是兩個漢字字元。字元僅僅代表一個符號，沒有任何實際值的意義。
2，字符集：字符集是字元的集合。例如，漢字字元是中國人最先發明的字元，在中文、日文、韓文和越南文的書寫中使用。這也說明了字元和字符集之間的關係，字元組成字符集（iso8859-1，GB2312/GBK，unicode）。
3，程式碼點：字符集中的每個字元都被分配到一個“程式碼點”。每個程式碼點都有一個特定的唯一數值，稱為標值。該標量值通常用十六進位制表示。
4，程式碼單元： 在每種編碼形式中，程式碼點被對映到一個或多個程式碼單元。“程式碼單元”是各個編碼方式中的單個單元。程式碼單元的大小等效於特定編碼方式的位數：
UTF-8 ：UTF-8 中的程式碼單元由 8 位組成；在 UTF-8 中，因為程式碼單元較小的緣故，每個程式碼點常常被對映到多個程式碼單元。程式碼點將被對映到一個、兩個、三個或四個程式碼單元；
UTF-16 ：UTF-16 中的程式碼單元由 16 位組成；UTF-16 的程式碼單元大小是 8 位程式碼單元的兩倍。所以，標量值小於 U+10000 的程式碼點被編碼到單個程式碼單元中；
UTF-32：UTF-32  中的程式碼單元由 32 位組成； UTF-32 中使用的 32 位程式碼單元足夠大，每個程式碼點都可編碼為單個程式碼單元；
GB18030：GB18030  中的程式碼單元由 8 位組成；在 GB18030 中，因為程式碼單元較小的緣故，每個程式碼點常常被對映到多個程式碼單元。程式碼點將被對映到一個、兩個或四個程式碼單元。
5，舉例：

“中國北京香蕉是個大笨蛋”這是我定義的aka字符集；各字元對應程式碼點為：
北 00000001
京 00000010
香 10000001
蕉 10000010
是 10000100
個 10001000
大 10010000
笨 10100000
蛋 11000000
中 00000100
國 00001000
下面是我定義的 zixia 編碼方案（8位），可以看到它的編碼中表示了aka字符集的所有字元對應的 程式碼單元；
北 10000001
京 10000010
香 00000001
蕉 00000010
是 00000100
個 00001000
大 00010000
笨 00100000
蛋 01000000
中 10000100
國 10001000
所謂文字檔案 就是我們按一定編碼方式將二進位制資料表示為對應的文字如 00000001000000100000010000001000000100000010000001000000這樣的檔案。我用一個支援 zixia編碼和aka字符集的記事本開啟，它就按照編碼方案顯示為  “香蕉是個大笨蛋 ”
如果我把這些字元按照GBK另存一個檔案，那麼則肯定不是這個，而是
1100111111100011 1011110110110110 1100101011000111 1011100011110110 1011010011110011 1011000110111111 1011010110110000 110100001010

二，字符集
1， 常用字符集分類
ASCII及其擴充套件字符集
作用：表語英語及西歐語言。
位數：ASCII是用7位表示的，能表示128個字元；其擴充套件使用8位表示，表示256個字元。
範圍：ASCII從00到7F，擴充套件從00到FF。
ISO-8859-1字符集
作用：擴充套件ASCII，表示西歐、希臘語等。
位數：8位，
範圍：從00到FF，相容ASCII字符集。
GB2312字符集
作用：國家簡體中文字符集，相容ASCII。
位數：使用2個位元組表示，能表示7445個符號，包括6763個漢字，幾乎覆蓋所有高頻率漢字。
範圍：高位元組從A1到F7, 低位元組從A1到FE。將高位元組和低位元組分別加上0XA0即可得到編碼。
BIG5字符集
作用：統一繁體字編碼。
位數：使用2個位元組表示，表示13053個漢字。
範圍：高位元組從A1到F9，低位元組從40到7E，A1到FE。
GBK字符集
作用：它是GB2312的擴充套件，加入對繁體字的支援，相容GB2312。
位數：使用2個位元組表示，可表示21886個字元。
範圍：高位元組從81到FE，低位元組從40到FE。
GB18030字符集
作用：它解決了中文、日文、朝鮮語等的編碼，相容GBK。
位數：它採用變位元組表示(1 ASCII，2，4位元組)。可表示27484個文字。
範圍：1位元組從00到7F; 2位元組高位元組從81到FE，低位元組從40到7E和80到FE；4位元組第一三位元組從81到FE，第二四位元組從30到39。
UCS字符集
作用：國際標準 ISO 10646 定義了通用字符集 (Universal Character Set)。它是與UNICODE同類的組織，UCS-2和UNICODE相容。
位數：它有UCS-2和UCS-4兩種格式，分別是2位元組和4位元組。
範圍：目前，UCS-4只是在UCS-2前面加了0×0000。
UNICODE字符集
作用：為世界650種語言進行統一編碼，相容ISO-8859-1。
位數：UNICODE字符集有多個編碼方式，分別是UTF-8，UTF-16和UTF-32。
2 ，按所表示的文字分類
語言                                 字符集                                     正式名稱
英語、西歐語                     ASCII，ISO-8859-1                MBCS 多位元組
簡體中文                             GB2312                                    MBCS 多位元組
繁體中文                             BIG5                                         MBCS 多位元組
簡繁中文                             GBK                                         MBCS 多位元組
中文、日文及朝鮮語         GB18030                                  MBCS 多位元組
各國語言                             UNICODE，UCS                    DBCS 寬位元組

三，編碼
UTF-8：採用變長位元組 (1 ASCII, 2 希臘字母, 3 漢字, 4 平面符號) 表示，網路傳輸, 即使錯了一個位元組，不影響其他位元組，而雙位元組只要一個錯了，其他也錯了，具體如下：
如果只有一個位元組則其最高二進位制位為0；如果是多位元組，其第一個位元組從最高位開始，連續的二進位制位值為1的個數決定了其編碼的位元組數，其餘各位元組均以10開頭。UTF-8最多可用到6個位元組。

UTF-16：採用2位元組，Unicode中不同部分的字元都同樣基於現有的標準。這是為了便於轉換。從 0×0000到0×007F是ASCII字元，從0×0080到0×00FF是ISO-8859-1對ASCII的擴充套件。希臘字母表使用從0×0370到 0×03FF 的程式碼，斯拉夫語使用從0×0400到0×04FF的程式碼，美國使用從0×0530到0×058F的程式碼，希伯來語使用從0×0590到0×05FF的代 碼。中國、日本和韓國的象形文字（總稱為CJK）佔用了從0×3000到0×9FFF的程式碼；由於0×00在c語言及作業系統檔名等中有特殊意義，故很 多情況下需要UTF-8編碼儲存文字，去掉這個0×00。舉例如下：
UTF-16: 0×0080  = 0000 0000 1000 0000
UTF-8:   0xC280 = 1100 0010 1000 0000
UTF-32：採用4位元組。
優缺點
UTF-8、UTF-16和UTF-32都可以表示有效編碼空間 (U+000000-U+10FFFF) 內的所有Unicode字元。
使用UTF-8編碼時ASCII字元只佔1個位元組，儲存效率比較高，適用於拉丁字元較多的場合以節省空間。
對於大多數非拉丁字元（如中文和日文）來說，UTF-16所需儲存空間最小，每個字元只佔2個位元組。
Windows NT核心是Unicode（UTF-16），採用UTF-16編碼在呼叫系統API時無需轉換，處理速度也比較快。
採用UTF-16和UTF-32會有Big Endian和Little Endian之分，而UTF-8則沒有位元組順序問題，所以UTF-8適合傳輸和通訊。
UTF-32採用4位元組編碼，一方面處理速度比較快，但另一方面也浪費了大量空間，影響傳輸速度，因而很少使用。

四，如何判斷字符集
1，位元組序
首先說一下位元組序對編碼的影響，位元組序分為Big Endian位元組序和Little Endian位元組序。不同的處理器可能不一樣。所以，傳輸時需要告訴處理器當時的編碼位元組序。對於前者而言，高位位元組存在低地址，低位元組存於高地址；後者相反。例如，0X03AB,
Big Endian位元組序
0000: 0 3
0001: AB
Little Endian位元組序是
0000: AB
0001: 0 3
2，編碼識別
UNICODE，根據前幾個位元組可以判斷UNICODE字符集的各種編碼，叫做Byte Order Mask方法BOM：
UTF-8: EFBBBF (符合UTF-8格式，請看上面。但沒有含義在UCS即UNICODE中)
UTF-16 Big Endian：FEFF (沒有含義在UCS-2中)
UTF-16 Little Endian：FFFE (沒有含義在UCS-2中)
UTF-32 Big Endian：0000FEFF (沒有含義在UCS-4中)
UTF-32 Little Endian：FFFE0000 (沒有含義在UCS-4中)

GB2312：高位元組和低位元組的第1位都是1。

BIG5，GBK&GB18030：高位元組的第1位為1。作業系統有預設的編碼，常為GBK，可以下載別的並升級。通過判斷高位元組的第1位從而知道是ASCII或者漢字編碼。