1. 程式人生 > >【轉】漢字編碼常識

【轉】漢字編碼常識

1. 資料參考:

    (1) CSDN博主sunjing的博文《漢字編碼常識》,連結為:http://blog.csdn.net/sunjing/article/details/6162439。

    (2) 學步園博主www5888888的博文《談談Unicode編碼,簡要解釋UCS、UTF、BMP、BOM等名詞》,連結為:http://www.xuebuyuan.com/711534.html。

    感謝博主的分享!

2. 編碼演變過程:

    2.1 ASCII編碼

    先從ASCII說起。ASCII是用來表示英文字元的一種編碼規範,每個ASCII字元佔用1個位元組(8bits) 。因此,ASCII編碼可以表示的最大字元數是256。其實英文字元並沒有那麼多,一般只用前128個

(最高位為0)就可以了,其中包括了控制字元、數字、大小寫字母和其他一些符號,詳見圖1 。既然ASCII編碼佔用了1個位元組(8位),那也不能浪費啊,所以最高位為1的另128個字元被成為“擴充套件ASCII”,一般用來存放英文的製表符、部分音標字元等等的一些其他符號 ,詳見圖2。

圖1. ASCII碼錶1(最高位為0的那128個字元)

圖2. ASCII碼錶2(最高位為1的那128個字元)

    2.2 用兩個擴充套件ASCII字元表示一箇中文字元的GB2312-80和Big5

    這種字元編碼規範顯然用來處理英文沒有什麼問題 (實際上也可以用來處理法文、德文等一些其他的西歐字元,但是不能和英文通用),但是面對中文、阿拉伯文之類複雜的文字,255個字元顯然不夠用 。於是,各個國家紛紛制定了自己的文字編碼規範,其中中文的文字編碼規範叫做“GB2312-80”,它是和ASCII相容的一種編碼規範,其實就是利用擴充套件ASCII沒有真正標準化這一點,把一箇中文字元用兩個擴充套件ASCII字元(最高位為1的ASCII)來表示。

    但是,這個方法最大的問題就是,中文文字沒有真正屬於自己的編碼,因為擴充套件ASCII碼雖然沒有真正的標準化,但是PC裡的ASCII碼還是有一個事實標準的(存放著英文製表符),所以很多軟體利用這些符號來畫表格。這樣的軟體用到中文系統中,這些表格符就會被誤認作中文字,破壞版面。而且,統計中英文混合字串中的字數,也是比較複雜的。常常地,我們必須通過判斷當前ASCII碼是否擴充套件,然後判斷它的下一個ASCII是否擴充套件,以此來“猜測”那可能是一箇中文字元。

    上述問題處理起來那是很痛苦的。而更為痛苦的是,由於漢字不止中國大陸在使用,所以漢字字元編碼有多種:GB2312是國家標準,Big5編碼標準是臺灣使用的標準,Big5很多編碼與GB是相同的,但又不完全相同。因為交流是必須的,所以各種編碼混在一起,問題就更加複雜了。 

    這時候,我們知道,要真正解決漢字編碼問題,不能從擴充套件ASCII的角度入手,也不能僅靠中國一家來解決,必須有一個全新的編碼系統,這個系統要可以將中文、英文、法文、德文……等等所有的文字統一起來考慮,為每個文字都分配一個單獨的編碼,這樣才不會有上面那種現象出現。

    於是,Unicode誕生了。

    2.3 Unicode編碼

    Unicode有兩套標準:一套叫UCS-2(Unicode-16),用2個位元組為字元編碼;另一套叫UCS-4(Unicode-32),用4個位元組為字元編碼。

    以目前常用的UCS-2為例,它可以表示的字元數為2^16=65536,基本上可以容納所有的歐美字元和絕大部分的亞洲字元 。
    在Unicode編碼裡,所有的字元被一視同仁。漢字不再使用“兩個擴充套件ASCII”,而是使用“1個Unicode”,注意,現在的漢字是“一個字元”了,於是,拆字、統計字數這些問題也就自然而然的解決了 。

    字元雖然有了新的編碼,但是軟體和系統的更新可不是那麼快的,不可能在一夜之間全世界所有的系統都換成使用Unicode編碼來處理字元。因此,從Unicode的誕生之日起,就必須考慮一個嚴峻的問題:Unicode字符集與ASCII字符集之間的不相容問題。

    我們知道,ASCII字元是單個位元組的,而Unicode-16字元是雙位元組,對於同一個字,在兩種編碼表示時是不同的。例如,同樣的字元“A”,ASCII編碼是0x65(0x表示後面的數字為16進製表示法);而Unicode編碼是0x0065。這樣一來,以前用來處理用ASCII編碼的那套機制不能被軟體或系統用來處理Unicode編碼的了。這就是剛剛提到的兩種字符集不相容的問題。

    還有一個問題是,C語言使用'\0'作為字串結尾,而Unicode裡恰恰有很多字元都有一個位元組為“0”。這樣一來,C語言的字串函式將無法正常處理Unicode,除非把世界上所有用C寫的程式以及他們所用的函式庫全部換掉 ,換成不以0作為字串結尾,而用其他新的標記。這顯然是不太可能的。

    於是,比Unicode更偉大的東東誕生了,之所以說它更偉大是因為它讓Unicode不再存在於理論上,而是真實的存在於我們大家的電腦中。那就是:UTF 編碼。

    2.4 UTF編碼

     UTF(8-bit Unicode Transformation Format),是將Unicode編碼規則和計算機的實際編碼規則對應起來的一個標準

    現在流行的UTF有2種:UTF-8和UTF-16 。

    其中UTF-16和上面提到的Unicode本身的編碼規範是一致的,這裡不多說了。

    UTF-8與Unicode編碼規範不同,它定義了一種“區間規則”,這種規則可以和ASCII編碼保持最大程度的相容 。UTF-8有點類似於Haffman編碼,它將Unicode編碼的不同範圍的字元用不同位元組數目表示:

    範圍 0x00000000 ~ 0x0000007F 的字元,用1個位元組來表示;

    範圍 0x00000080 ~ 0x000007FF 的字元,用2個位元組來表示;

    範圍 0x00000800 ~ 0x0000FFFF 的字元,用3個位元組來表示 。

    因為目前為止Unicode-16規範還沒有指定超過0x0000FFFF範圍的字元,所以UTF-8最多是使用3個位元組來表示一個字元。但理論上來說,UTF-8最多需要用6位元組表示一個字元。

    在UTF-8裡,英文字元仍然跟ASCII編碼一樣,因此原先的函式庫可以繼續使用。而中文的編碼範圍是在 0x0080 ~ 0x07FF 之間,因此是2個位元組表示(但這兩個位元組和GB編碼的兩個位元組是不同的),用專門的“Unicode處理類”可以對UTF編碼進行處理QT中就提供QTextCodec來處理編碼轉換問題。

3. 中文編碼問題 :GBK和GB18030的產生 

    下面說說中文的問題。

    由於歷史原因,在Unicode之前,一共存在過3套中文編碼標準:GB2312-80, Big5, HKSCS.

    GB2312-80,是中國大陸使用的國家標準,其中一共編碼了6763個常用簡體漢字。

    Big5,是中國臺灣使用的編碼標準,編碼了臺灣使用的繁體漢字,大概有8千多個。

    HKSCS,是中國香港使用的編碼標準,字型也是繁體,但跟Big5有所不同。

    這3套編碼標準都採用了兩個擴充套件ASCII的方法,因此,幾套編碼互不相容,而且編碼區間也各有不同。因為其不相容性,在同一個系統中同時顯示GB和Big5基本上是不可能的。當時的南極星、RichWin等等軟體,在自動識別中文編碼、自動顯示正確編碼方面都做了很多努力 。他們用了怎樣的技術我就不得而知了,我知道好像南極星曾經以同屏顯示繁簡中文為賣點。

    後來,由於各方面的原因,國際上又制定了針對中文的統一字符集GBK和GB18030,其中GBK已經在Windows、Linux等多種作業系統中實現。

    GBK相容GB2312,並增加了大量不常用漢字,還加入了幾乎所有的Big5中的繁體漢字。但是GBK中的繁體漢字和Big5中的幾乎不相容。(覺悟很高嘛,哈哈!)

    GB18030相當於是GBK的超集,比GBK包含的字元更多。據我所知目前還沒有作業系統直接支援GB18030。

 4. 談談Unicode編碼,簡要解釋UCS、UTF、BMP、BOM等名詞

    4.1 兩個主要問題   

    這是一篇程式設計師寫給程式設計師的趣味讀物。所謂趣味是指可以比較輕鬆地瞭解一些原來不清楚的概念,增進知識,類似於打RPG遊戲的升級。整理這篇文章的動機是兩個問題:

    問題一:

    使用Windows記事本的“另存為”,可以在GBK、Unicode、Unicode big endian和UTF-8這幾種編碼方式間相互轉換。同樣是txt檔案,Windows是怎樣識別編碼方式的呢?
我很早前就發現Unicode、Unicode big endian和UTF-8編碼的txt檔案的開頭會多出幾個位元組,分別是FF、FE(Unicode),FE、FF(Unicode big endian),EF、BB、BF(UTF-8)。但這些標記是基於什麼標準呢?

    問題二:

    最近在網上看到一個 ConvertUTF.c,實現了UTF-32、UTF-16和UTF-8這三種編碼方式的相互轉換。對於Unicode(UCS2)、GBK、UTF- 8這些編碼方式,我原來就瞭解。但這個程式讓我有些糊塗,想不起來UTF-16和UCS2有什麼關係。 查了查相關資料,總算將這些問題弄清楚了,順帶也瞭解了一些Unicode的細節。寫成一篇文章,送給有過類似疑問的朋友。本文在寫作時儘量做到通俗易懂,但要求讀者知道什麼是位元組,什麼是十六進位制。

    4.2 big endian和little endian

    big endian和little endian是CPU處理多位元組數的不同方式。例如“漢”字的Unicode編碼是0x6C49。那麼寫到檔案裡時,究竟是將6C寫在前面,還是將49寫在前面?如果將6C寫在前面,就是big endian。還是將49寫在前面,就是little endian。

    “endian”這個詞出自《格列佛遊記》。小人國的內戰就源於吃雞蛋時是究竟從大頭(Big-Endian)敲開還是從小頭(Little-Endian)敲開,由此曾發生過六次叛亂,其中一個皇帝送了命,另一個丟了王位。

    我們一般將endian翻譯成“位元組序”,將big endian和little endian稱作“大尾”和“小尾”。

    4.3 字元編碼、內碼,順帶介紹漢字編碼

    字元必須編碼後才能被計算機處理。計算機使用的預設編碼方式就是計算機的內碼。早期的計算機使用7位的ASCII編碼,為了處理漢字,程式設計師設計了用於簡體中文的GB2312和用於繁體中文的big5。GB2312(1980年)一共收錄了7445個字元,包括6763個漢字和682個其它符號。漢字區的內碼範圍高位元組從B0-F7,低位元組從A1-FE,佔用的碼位是72*94=6768。其中有5個空位是D7FA-D7FE。GB2312 支援的漢字太少。1995年的漢字擴充套件規範GBK1.0收錄了21886個符號,它分為漢字區和圖形符號區。漢字區包括21003個字元。2000年的 GB18030是取代GBK1.0的正式國家標準。該標準收錄了27484個漢字,同時還收錄了藏文、蒙文、維吾爾文等主要的少數民族文字。現在的PC平臺必須支援GB18030,對嵌入式產品暫不作要求。所以手機、MP3一般只支援GB2312。有些中文Windows預設的內碼還是GBK,可以通過GB18030升級包升級GB18030。不過GB18030相對GBK增加的字元,普通人是很難用到的,通常我們還是用GBK指代中文Windows內碼

    從ASCII、GB2312、GBK到 GB18030,這些編碼方法是向下相容的,即同一個字元在這些方案中總是有相同的編碼,後面的標準支援更多的字元。在這些編碼中,英文和中文可以統一地處理。區分中文編碼的方法是高位元組的最高位不為0。按照程式設計師的稱呼,GB2312、GBK到GB18030都屬於雙位元組字符集 (DBCS)

    這裡還有一些細節:

    GB2312的原文還是區位碼,從區位碼到內碼,需要在高位元組和低位元組上分別加上A0。

    在DBCS中,GB內碼的儲存格式始終是big endian,即高位在前。

    GB2312 的兩個位元組的最高位都是1。但符合這個條件的碼位只有128*128=16384個。所以GBK和GB18030的低位元組最高位都可能不是1。不過這不影響DBCS字元流的解析:在讀取DBCS字元流時,只要遇到高位為1的位元組,就可以將下兩個位元組作為一個雙位元組編碼,而不用管低位元組的高位是什麼。

    4.4 Unicode、UCS和UTF

    前面提到從ASCII、GB2312、GBK到GB18030的編碼方法是向下相容的。而Unicode只與ASCII相容(更準確地說,是與ISO-8859-1相容),與GB碼不相容。例如“漢”字的Unicode編碼是6C49,而GB碼是BABA。

    Unicode 也是一種字元編碼方法,不過它是由國際組織設計,可以容納全世界所有語言文字的編碼方案。Unicode的學名是"Universal Multiple-Octet Coded Character Set",簡稱為UCS。UCS可以看作是"Unicode Character Set"的縮寫。

    根據維基百科全書([url]http://zh.wikipedia.org/wiki/[/url])的記載:歷史上存在兩個試圖獨立設計 Unicode的組織,即國際標準化組織(ISO)和一個軟體製造商的協會(unicode.org)。ISO開發了ISO 10646專案,Unicode協會開發了Unicode專案。在1991年前後,雙方都認識到世界不需要兩個不相容的字符集。於是它們開始合併雙方的工作成果,併為創立一個單一編碼表而協同工作。從Unicode2.0開始,Unicode專案採用了與ISO 10646-1相同的字型檔和字碼。目前兩個專案仍都存在,並獨立地公佈各自的標準。Unicode協會現在的最新版本是2005年的Unicode 4.1.0。ISO的最新標準是10646-3:2003

    UCS規定了怎麼用多個位元組表示各種文字。怎樣傳輸這些編碼,是由UTF(UCS Transformation Format)規範規定的,常見的UTF規範包括UTF-8、UTF-7、UTF-16。IETF 的RFC2781和RFC3629以RFC的一貫風格,清晰、明快又不失嚴謹地描述了UTF-16和UTF-8的編碼方法。我總是記不得IETF是 Internet Engineering Task Force的縮寫。但IETF負責維護的RFC是Internet上一切規範的基礎。

    4.5 UCS-2、UCS-4、BMP

    UCS有兩種格式:UCS-2和UCS-4。顧名思義,UCS-2就是用兩個位元組編碼,UCS-4就是用4個位元組(實際上只用了31位,最高位必須為0)編碼。下面讓我們做一些簡單的數學遊戲:

    UCS-2有2^16=65536個碼位,UCS-4有2^31=2147483648個碼位。
    UCS -4根據最高位為0的最高位元組分成2^7=128個group。每個group再根據次高位元組分為256個plane。每個plane根據第3個位元組分為 256行 (rows),每行包含256個cells。當然同一行的cells只是最後一個位元組不同,其餘都相同。group 0的plane 0被稱作Basic Multilingual Plane, 即BMP。或者說UCS-4中,高兩個位元組為0的碼位被稱作BMP。
將UCS-4的BMP去掉前面的兩個零位元組就得到了UCS-2。在UCS-2的兩個位元組前加上兩個零位元組,就得到了UCS-4的BMP。而目前的UCS-4規範中還沒有任何字元被分配在BMP之外。

    4.6 UTF編碼

    UTF-8就是以8位為單元對UCS進行編碼。從UCS-2到UTF-8的編碼方式如下:

    UCS-2編碼(16進位制)         UTF-8 位元組流(二進位制)

         0000 - 007F                         0xxxxxxx

         0080 - 07FF                  110xxxxx 10xxxxxx

         0800 - FFFF              1110xxxx 10xxxxxx 10xxxxxx

    例如“漢”字的Unicode編碼是6C49。6C49在0800-FFFF之間,所以肯定要用3位元組模板了:1110xxxx 10xxxxxx 10xxxxxx。將6C49寫成二進位制是:0110 110001 001001, 用這個位元流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89。

    讀者可以用記事本測試一下我們的編碼是否正確。

    UTF-16以16位為單元對 UCS進行編碼。對於小於0x10000的UCS碼,UTF-16編碼就等於UCS碼對應的16位無符號整數。對於不小於0x10000的UCS碼,定義了一個演算法。不過由於實際使用的UCS2,或者UCS4的BMP必然小於0x10000,所以就目前而言,可以認為UTF-16和UCS-2基本相同。但 UCS-2只是一個編碼方案,UTF-16卻要用於實際的傳輸,所以就不得不考慮位元組序的問題。

    4.7 UTF的位元組序和BOM

    UTF-8以位元組為編碼單元,沒有位元組序的問題。UTF-16以兩個位元組為編碼單元,在解釋一個UTF-16文字前,首先要弄清楚每個編碼單元的位元組序。例如收到一個 “奎”的Unicode編碼是594E,“乙”的Unicode編碼是4E59。如果我們收到UTF-16位元組流“594E”,那麼這是“奎”還是 “乙”?Unicode規範中推薦的標記位元組順序的方法是BOM。BOM不是“Bill Of Material”的BOM表,而是Byte Order Mark。

    BOM是一個有點小聰明的想法:在UCS 編碼中有一個叫做"ZERO WIDTH NO-BREAK SPACE"的字元,它的編碼是FEFF。而FFFE在UCS中是不存在的字元,所以不應該出現在實際傳輸中。UCS規範建議我們在傳輸位元組流前,先傳輸字元"ZERO WIDTH NO-BREAK SPACE"。這樣如果接收者收到FEFF,就表明這個位元組流是Big-Endian的;如果收到FFFE,就表明這個位元組流是Little-Endian的。因此字元"ZERO WIDTH NO-BREAK SPACE"又被稱作BOM。

    UTF -8不需要BOM來表明位元組順序,但可以用BOM來表明編碼方式。字元"ZERO WIDTH NO-BREAK SPACE"的UTF-8編碼是EF BB BF(讀者可以用我們前面介紹的編碼方法驗證一下)。所以如果接收者收到以EF BB BF開頭的位元組流,就知道這是UTF-8編碼了。Windows就是使用BOM來標記文字檔案的編碼方式的。

    漢字編碼是認為定義一組漢字的順序表。目前常用的gb2312,gb13000,gbk,big5,和unicode. 機器內碼是漢字編碼在計算機裡面的具體表示編碼,他和漢字編碼是有固定對應關係的。現在window常用的是gbk,他是gb2312的相容超集。我們以gb2312為例。gb2312定義漢字編碼分為區碼和位碼,分別是從1~94. 所以gb2312的編碼容量是94*94個漢字,實際上只定義了6763個漢字,1~9區是特殊字元,包括全形的標點、字母、日文、希臘文、俄文等等。16~87是漢字區。  

    如果計算機要表示漢字,只能用現有的計算機編碼表示,這就有了機內碼的概念。  

    計算機是以位元組為單位,只能表示0~255.(asc定義了0~127),所以漢字就用2各連續位元組表示一個漢字,為了和0~127的asc分開,採用了從0xa0開始到0xfe的這部分。就得到了機內碼和漢字區位碼的對應關係:  

     機內碼   =   0xa0   +   區碼,   0xa0   +   位碼;  

     如果一個漢字的機內碼是   0xb0a1那麼它對應的區位碼就是   0xb0-0xa0=   0x10=16,   0xa1-0xa0=   1,他的區位碼是   1601,就是漢字"啊"。反過來一樣,這種機內碼錶示方式有個問題就是一個漢字等於2個asc碼,不利於計算字串長度,還一個問題(在dos下最明顯)就是西文造表符的識別。

    現在的gbk已經比這個複雜了,你理解了gb2312的,gbk就容易了。   

    現在的趨勢是unicode,他是16位內碼,包括asc碼都擴充到16位了,它是世界通用的字符集。容量是65534個字元,包含了世界各國的文字。

    計算機中的資訊都是用二進位制編碼表示的。用以表示字元的二進位制編碼稱為字元編碼。計算機中常用的字元編碼有EBCDIC碼和ASCII碼。IBM系統大型機採用EBCDIC碼,微型機採用ASCII碼。ASCII 碼是美國標準資訊交換碼,被國際標準化組織(ISO)指定為國際碼。ASCII碼有7位碼和8位碼兩種版本。國際通用的7位ASCII碼稱為ISO- 646標準,用7位二進位制表示一個字元的編輯,其編碼範圍從0000000B-1111111B,共有27=128個不同的編碼值,相應可表示128個不同的字元編碼。如數字“0”的ASCII碼值為0110000B(或48D或30H),字母“A”的碼值為1000001B(或65D或 41H),“a”的碼值為1100001B(或97D或61H)等。128個編碼中有34個控制符的編碼(00H-20H和7FH)和94個字元編碼(21H-7EH)。計算機內部用一個位元組(8個二進位制位)存放一個7位ASCII碼,最高位b7置為0。擴充套件的ASCII碼使用8個二進位制位表示一個字元的編碼,可表示28=256個不同字元的編碼。

    4.8 漢字的編碼

    ASCII碼只給出了英文字母、數學和標點符號的編碼。為了用計算機處理漢字,同樣需要對漢字進行編碼。

    4.8.1 漢字資訊交換碼(國標碼)

    漢字資訊交換碼是用於漢字資訊處理系統之間或者與通訊系統進行資訊交換的漢字程式碼,簡稱交換碼,也叫國標碼。我國1981年頒佈了國家標準《資訊交換用漢字編碼字符集——基本集》,代號為GB2312-80,即國標碼。

    4.8.2 漢字輸入碼

    為將漢字輸入計算機而編制的程式碼稱為漢字輸入碼,也叫外碼。

    4.8.3 漢字內碼

    漢字內碼是在計算機內部對漢字進行儲存、處理和傳輸的漢字程式碼,它應能滿足儲存、處理和傳輸的要求。當一個漢字輸入計算機後就轉換為內碼,然後才能在機器內流動、處理。漢字內碼的形式也多種多樣。目前,對應於國標碼,一個漢字的內碼也用2個位元組儲存,並把每個位元組的最高二進位制位置“1”作為漢字內碼的標識,以免與單位元組的ASCII碼產生歧義性。如果用十六進位制來表述,就是把漢字國標碼的每個位元組上加一個80H(即二進位制數10000000)。所以,漢字的國標碼與其內碼有下列關係:

    漢字的內碼=漢字的國標碼+8080H

    例如,已知“中”字的國標碼為5650H,則根據上述公式得:“中”字的內碼=“中”字的國標碼5650H+8080H=D6D0H。

    4.8.4 漢字字形碼

    經過計算機處理的漢字資訊,如果要顯示打印出來閱讀,則必須將漢字內碼轉換成人們可讀的方塊漢字。每個漢字的字形資訊是預先存放在計算機內的,常稱漢字型檔。漢字內碼與漢字字形一一對應。描述漢字字形的方法主要有點陣字形和輪廓字形兩種。

    計算機中,8個二進位制位組成一個位元組,位元組是度量儲存空間的基本單位。可見一個16X16點陣的字形需要16X16/8=32位元組儲存空間;理,24X24 點陣的字形碼需要24X24/8=72位元組儲存空間;32X32點陣的字型有碼城要32X32/8=128位元組儲存空間。

    漢字的點陣字形的缺點是放大後會出現鋸齒現象,很不美觀。
輪廓字形方法比前者複雜,一個漢字中筆畫的輪廓可用一組曲線來勾畫,它採用數學方法來描述每個漢字的輪廓曲線。中文Windows下廣泛採用的 TrueType字形庫就是採用輪廓字形法。這種方法的優點是字形精度高,且可以任意放大、縮小而不產生鋸齒現象;缺點是輸出之前必須經過複雜的數學運算處理。

    4.8.5 漢字地址碼

    漢字地址碼是指漢字字型檔(這裡主要指整字形的點陣式字模庫)中儲存漢字字形資訊的邏輯地址碼。

    4.8.6 各種漢字程式碼之間的關係

    漢字的輸入、處理和輸入的過程,實際上是漢字的種種程式碼之間的轉換過程,或者說漢字程式碼在系統有關部件之間流動的過程。

    4.8.7 漢字字符集簡介

  •     GB 2312-80漢字編碼

    GB 2312-80碼中華人民共和國國家標準漢字資訊交換換用編碼,全稱《資訊交換用漢字編碼字符集——基本集》,標準號為GB 2312-80,由中華人民共和國家標準總局釋出,1981年5月1日實施,習慣上稱國標碼、GB碼或區位碼。它是一個簡化漢字的編碼,通行於中國大陸地區,新加坡等地也使用這一編碼。

  •     GBK編碼

    GBK是又一個漢字編碼標準,全稱《漢字內碼擴充套件規範》,中華人民共和國全國資訊科技標準化技術委員會1995年12月1日製訂。

  •     Unicode和CJK編碼

    ISO10646是國際標準化組織(ISO)公佈的一個編碼標準Universal Coded Character Set(簡稱UCS),譯為《通用編碼字符集》。

  •     GB 18030-2000編碼
  •     BIG-5碼

    BIG -5碼是通行於臺灣、香港地區的一個繁體字編碼方案,俗稱“大五碼”。它被廣泛地應用於電腦業和因特網(Internet)中,是一個雙位元組編碼方案,收錄了13461個符號和漢字,其中包括408個符號和13053個漢字。漢字分5401個常用字和7652個次常用字兩部分,各部分中的漢字按筆畫/部首排列。

    4.8.8 漢字的機內碼和國際碼

    對於漢字,我們的電腦上轉換成的是機內碼,機內碼是如何得到的呢?下面做一下簡單介紹:

    機內碼 = 國標碼 + 8080H + 2020H

    PS:其中國標碼要把區瑪和位碼分開,而且都看成10進位制,然後轉換成十六進位制,比如:“丁”的區位碼是22 01,則轉換成16進製為16H(22) 01H(01),則轉換成機內碼是:(1601)H + (A0A0)H) = (B6A1)H

    另外:還有一個叫國際碼的,就是美國編碼,計算如下:

    國際碼 = 區位碼 + 2020H

    PS:其中計算方法與機內碼相似:比如,“丁”的編碼就是--(3601)H