2. 程式人生 > >Unicode與UTF-8互轉(C語言實現)

Unicode與UTF-8互轉(C語言實現)

阿新 • • 發佈：2019-02-02



1.1 ASCII碼

我們知道, 在計算機內部, 所有的資訊最終都表示為一個二進位制的字串. 每一個二進位制
位(bit)有0和1兩種狀態, 因此八個二進位制位就可以組合出 256種狀態, 這被稱為一個字
節(byte). 也就是說, 一個位元組一共可以用來表示256種不同的狀態, 每一個狀態對應一
個符號, 就是256個符號, 從 0000000到11111111.

上個世紀60年代, 美國製定了一套字元編碼, 對英語字元與二進位制位之間的關係, 做了統
一規定. 這被稱為ASCII碼, 一直沿用至今.

ASCII碼一共規定了128個字元的編碼, 比如空格"SPACE"是32(二進位制00100000), 大寫的
字母A是65(二進位制01000001)

. 這128個符號(包括32個不能打印出來的控制符號), 只佔用
了一個位元組的後面7位, 最前面的1位統一規定為0.

1.2 非ASCII編碼

英語用128個符號編碼就夠了, 但是用來表示其他語言, 128個符號是不夠的. 比如, 在法
語中, 字母上方有注音符號, 它就無法用ASCII碼錶示. 於是, 一些歐洲國家就決定, 利
用位元組中閒置的最高位編入新的符號. 比如, 法語中的é的編碼為130(二進位制10000010).
這樣一來, 這些歐洲國家使用的編碼體系, 可以表示最多256個符號.

但是, 這裡又出現了新的問題. 不同的國家有不同的字母, 因此, 哪怕它們都使用256個
符號的編碼方式, 代表的字母卻不一樣. 比如, 130在法語編碼中代表了é, 在希伯來語
編碼中卻代表了字母Gimel (?)
, 在俄語編碼中又會代表另一個符號.

NOTE:
但是不管怎樣, 所有這些編碼方式中, 0-127表示的符號是一樣的, 不一樣的只是128-255
的這一段. // MMMMM

至於亞洲國家的文字, 使用的符號就更多了, 漢字就多達10萬左右. 一個位元組只能表示
256種符號, 肯定是不夠的, 就必須使用多個位元組表達一個符號. 比如, 簡體中文常見的
編碼方式是GB2312, 使用兩個位元組表示一個漢字, 所以理論上最多可以表示
256x256=65536個符號.

2. Unicode

2.1 Unicode的定義

正如上一節所說, 世界上存在著多種編碼方式, 同一個二進位制數字可以被解釋成不同的符
號. 因此, 要想開啟一個文字檔案, 就必須知道它的編碼方式, 否則用錯誤的編碼方式解
讀, 就會出現亂碼. 為什麼電子郵件常常出現亂碼?就是因為發信人和收信人使用的編碼
方式不一樣.

可以想象, 如果有一種編碼, 將世界上所有的符號都納入其中. 每一個符號都給予一個獨
一無二的編碼, 那麼亂碼問題就會消失. 這就是Unicode, 就像它的名字都表示的, 這是
一種所有符號的編碼.

Unicode也是一種字元編碼方法, 不過它是由國際組織設計, 可以容納全世界所有語言文
字的編碼方案. Unicode的學名是"Universal Multiple-Octet Coded Character Set
",
簡稱為UCS. UCS可以看作是"Unicode Character Set"的縮寫.

Unicode當然是一個很大的集合, 現在的規模可以容納100多萬個符號. 每個符號的編碼都
不一樣, 比如, U+0639表示阿拉伯字母Ain, U+0041表示英語的大寫字母A, U+4E25表示漢
字"嚴". 具體的符號對應表, 可以查詢unicode.org, 或者專門的漢字對應表.

2.2 Unicode的問題

需要注意的是, "Unicode只是一個符號集, 它只規定了符號的二進位制程式碼, 卻沒有規定這
個二進位制程式碼應該如何儲存".

比如, 漢字"嚴"的unicode是十六進位制數4E25, 轉換成二進位制數足足有15位
(100111000100101), 也就是說這個符號的表示至少需要2個位元組. 表示其他更大的符號,
可能需要3個位元組或者4個位元組, 甚至更多.

這裡就有兩個嚴重的問題, 第一個問題是, 如何才能區別unicode和ascii?計算機怎麼知
道三個位元組表示一個符號, 而不是分別表示三個符號呢?第二個問題是, 我們已經知道,
英文字母只用一個位元組表示就夠了, 如果unicode統一規定, 每個符號用三個或四個位元組
表示, 那麼每個英文字母前都必然有二到三個位元組是0, 這對於儲存來說是極大的浪費,
文字檔案的大小會因此大出二三倍, 這是無法接受的.

它們造成的結果是:

1)  出現了unicode的多種儲存方式, 也就是說有許多種不同的二進位制格式,
    可以用來表示unicode.
2)  unicode在很長一段時間內無法推廣, 直到網際網路的出現


3. UTF-8

網際網路的普及, 強烈要求出現一種統一的編碼方式. UTF-8就是在網際網路上使用最廣的一
種unicode的實現方式. 其他實現方式還包括UTF-16和UTF-32, 不過在網際網路上基本不用.
重複一遍, 這裡的關係是, UTF-8是Unicode的實現方式之一.

UTF-8最大的一個特點, 就是它是一種變長的編碼方式. 它可以使用1~6個位元組表示一個符
號, 根據不同的符號而變化位元組長度.

3.1 UTF-8的編碼規則

UTF-8的編碼規則很簡單, 只有兩條:

1) 對於單位元組的符號, 位元組的第一位設為0, 後面7位為這個符號的unicode碼. 因此對於
   英語字母, UTF-8編碼和ASCII碼是相同的.

2) 對於n位元組的符號(n>1), 第一個位元組的前n位都設為1, 第n+1位設為0, 後面位元組的前
   兩位一律設為10. 剩下的沒有提及的二進位制位, 全部為這個符號的unicode碼.

下表總結了編碼規則, 字母x表示可用編碼的位.

<SPAN xmlns="http://www.w3.org/1999/xhtml">// #txt---
   |  Unicode符號範圍      |  UTF-8編碼方式
 n |  (十六進位制)           | (二進位制)
---+-----------------------+------------------------------------------------------
 1 | 0000 0000 - 0000 007F |                                              0xxxxxxx
 2 | 0000 0080 - 0000 07FF |                                     110xxxxx 10xxxxxx
 3 | 0000 0800 - 0000 FFFF |                            1110xxxx 10xxxxxx 10xxxxxx
 4 | 0001 0000 - 0010 FFFF |                   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
 5 | 0020 0000 - 03FF FFFF |          111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
 6 | 0400 0000 - 7FFF FFFF | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

                    表 1. UTF-8的編碼規則
// #txt---end
</SPAN>

下面, 還是以漢字"嚴"為例, 演示如何實現UTF-8編碼.

已知"嚴"的unicode是4E25(1001110 00100101), 根據上表, 可以發現4E25處在第三行的
範圍內(0000 0800 - 0000 FFFF), 因此"嚴"的UTF-8編碼需要三個位元組, 即格式是
"1110xxxx 10xxxxxx 10xxxxxx". 然後, 從"嚴"的最後一個二進位制位開始, 依次從後向前
填入格式中的x, 多出的位補0. 這樣就得到了, "嚴"的UTF-8編碼是 "11100100 10111000
10100101", 轉換成十六進位制就是E4B8A5.


4. Little endian和Big endian

上一節已經提到, Unicode碼可以採用UCS-2格式直接儲存. 以漢字"嚴"為例, Unicode碼
是4E25, 需要用兩個位元組儲存, 一個位元組是4E, 另一個位元組是25. 儲存的時候, 4E在前,
25在後, 就是Big endian方式; 25在前, 4E在後, 就是Little endian方式.
// Big Endian(4E25)    Little Endian(254E)

因此, 第一個位元組在前, 就是"大頭方式"(Big endian), 第二個位元組在前就是"小頭方式
"(Little endian).

4.1 計算機怎麼知道某一個檔案到底採用哪一種方式編碼?(零寬度非換行空格(FEFF))

Unicode規範中定義, 每一個檔案的最前面分別加入一個表示編碼順序的字元, 這個字元
的名字叫做"零寬度非換行空格"(ZERO WIDTH NO-BREAK SPACE), 用FEFF表示. 這正好是
兩個位元組, 而且FF比FE大1.
// Big Endian(FEFF)    Little Endian(FFFE)

NOTE:
如果一個文字檔案的頭兩個位元組是FE FF, 就表示該檔案採用大頭方式; 如果頭兩個位元組
是FF FE, 就表示該檔案採用小頭方式.

5. Unicode與UTF-8之間的轉換

從表1我們很明顯可以得知Unicode與UTF-8的關係, 下面以C語言實現兩者之間的轉換.

1) 將一個字元的Unicode(UCS-2和UCS-4)編碼轉換成UTF-8編碼.

// #c---
/*****************************************************************************
 * 將一個字元的Unicode(UCS-2和UCS-4)編碼轉換成UTF-8編碼.
 *
 * 引數:
 *    unic     字元的Unicode編碼值
 *    pOutput  指向輸出的用於儲存UTF8編碼值的緩衝區的指標
 *    outsize  pOutput緩衝的大小
 *
 * 返回值:
 *    返回轉換後的字元的UTF8編碼所佔的位元組數, 如果出錯則返回 0 .
 *
 * 注意:
 *     1. UTF8沒有位元組序問題, 但是Unicode有位元組序要求;
 *        位元組序分為大端(Big Endian)和小端(Little Endian)兩種;
 *        在Intel處理器中採用小端法表示, 在此採用小端法表示. (低地址存低位)
 *     2. 請保證 pOutput 緩衝區有最少有 6 位元組的空間大小!
 ****************************************************************************/
int enc_unicode_to_utf8_one(unsigned long unic, unsigned char *pOutput,
        int outSize)
{
    assert(pOutput != NULL);
    assert(outSize >= 6);

    if ( unic <= 0x0000007F )
    {
        // * U-00000000 - U-0000007F:  0xxxxxxx
        *pOutput     = (unic & 0x7F);
        return 1;
    }
    else if ( unic >= 0x00000080 && unic <= 0x000007FF )
    {
        // * U-00000080 - U-000007FF:  110xxxxx 10xxxxxx
        *(pOutput+1) = (unic & 0x3F) | 0x80;
        *pOutput     = ((unic >> 6) & 0x1F) | 0xC0;
        return 2;
    }
    else if ( unic >= 0x00000800 && unic <= 0x0000FFFF )
    {
        // * U-00000800 - U-0000FFFF:  1110xxxx 10xxxxxx 10xxxxxx
        *(pOutput+2) = (unic & 0x3F) | 0x80;
        *(pOutput+1) = ((unic >>  6) & 0x3F) | 0x80;
        *pOutput     = ((unic >> 12) & 0x0F) | 0xE0;
        return 3;
    }
    else if ( unic >= 0x00010000 && unic <= 0x001FFFFF )
    {
        // * U-00010000 - U-001FFFFF:  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
        *(pOutput+3) = (unic & 0x3F) | 0x80;
        *(pOutput+2) = ((unic >>  6) & 0x3F) | 0x80;
        *(pOutput+1) = ((unic >> 12) & 0x3F) | 0x80;
        *pOutput     = ((unic >> 18) & 0x07) | 0xF0;
        return 4;
    }
    else if ( unic >= 0x00200000 && unic <= 0x03FFFFFF )
    {
        // * U-00200000 - U-03FFFFFF:  111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
        *(pOutput+4) = (unic & 0x3F) | 0x80;
        *(pOutput+3) = ((unic >>  6) & 0x3F) | 0x80;
        *(pOutput+2) = ((unic >> 12) & 0x3F) | 0x80;
        *(pOutput+1) = ((unic >> 18) & 0x3F) | 0x80;
        *pOutput     = ((unic >> 24) & 0x03) | 0xF8;
        return 5;
    }
    else if ( unic >= 0x04000000 && unic <= 0x7FFFFFFF )
    {
        // * U-04000000 - U-7FFFFFFF:  1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
        *(pOutput+5) = (unic & 0x3F) | 0x80;
        *(pOutput+4) = ((unic >>  6) & 0x3F) | 0x80;
        *(pOutput+3) = ((unic >> 12) & 0x3F) | 0x80;
        *(pOutput+2) = ((unic >> 18) & 0x3F) | 0x80;
        *(pOutput+1) = ((unic >> 24) & 0x3F) | 0x80;
        *pOutput     = ((unic >> 30) & 0x01) | 0xFC;
        return 6;
    }

    return 0;
}
// #c---end

2) 將一個字元的UTF8編碼轉換成Unicode(UCS-2和UCS-4)編碼.

<SPAN xmlns="http://www.w3.org/1999/xhtml">// #c---
/*****************************************************************************
 * 將一個字元的UTF8編碼轉換成Unicode(UCS-2和UCS-4)編碼.
 *
 * 引數:
 *    pInput      指向輸入緩衝區, 以UTF-8編碼
 *    Unic        指向輸出緩衝區, 其儲存的資料即是Unicode編碼值,
 *                型別為unsigned long .
 *
 * 返回值:
 *    成功則返回該字元的UTF8編碼所佔用的位元組數; 失敗則返回0.
 *
 * 注意:
 *     1. UTF8沒有位元組序問題, 但是Unicode有位元組序要求;
 *        位元組序分為大端(Big Endian)和小端(Little Endian)兩種;
 *        在Intel處理器中採用小端法表示, 在此採用小端法表示. (低地址存低位)
 ****************************************************************************/
int enc_utf8_to_unicode_one(const unsigned char* pInput, unsigned long *Unic)
{
    assert(pInput != NULL && Unic != NULL);

    // b1 表示UTF-8編碼的pInput中的高位元組, b2 表示次高位元組, ...
    char b1, b2, b3, b4, b5, b6;

    *Unic = 0x0; // 把 *Unic 初始化為全零
    int utfbytes = enc_get_utf8_size(*pInput);
    unsigned char *pOutput = (unsigned char *) Unic;

    switch ( utfbytes )
    {
        case 0:
            *pOutput     = *pInput;
            utfbytes    += 1;
            break;
        case 2:
            b1 = *pInput;
            b2 = *(pInput + 1);
            if ( (b2 & 0xE0) != 0x80 )
                return 0;
            *pOutput     = (b1 << 6) + (b2 & 0x3F);
            *(pOutput+1) = (b1 >> 2) & 0x07;
            break;
        case 3:
            b1 = *pInput;
            b2 = *(pInput + 1);
            b3 = *(pInput + 2);
            if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80) )
                return 0;
            *pOutput     = (b2 << 6) + (b3 & 0x3F);
            *(pOutput+1) = (b1 << 4) + ((b2 >> 2) & 0x0F);
            break;
        case 4:
            b1 = *pInput;
            b2 = *(pInput + 1);
            b3 = *(pInput + 2);
            b4 = *(pInput + 3);
            if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80)
                    || ((b4 & 0xC0) != 0x80) )
                return 0;
            *pOutput     = (b3 << 6) + (b4 & 0x3F);
            *(pOutput+1) = (b2 << 4) + ((b3 >> 2) & 0x0F);
            *(pOutput+2) = ((b1 << 2) & 0x1C)  + ((b2 >> 4) & 0x03);
            break;
        case 5:
            b1 = *pInput;
            b2 = *(pInput + 1);
            b3 = *(pInput + 2);
            b4 = *(pInput + 3);
            b5 = *(pInput + 4);
            if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80)
                    || ((b4 & 0xC0) != 0x80) || ((b5 & 0xC0) != 0x80) )
                return 0;
            *pOutput     = (b4 << 6) + (b5 & 0x3F);
            *(pOutput+1) = (b3 << 4) + ((b4 >> 2) & 0x0F);
            *(pOutput+2) = (b2 << 2) + ((b3 >> 4) & 0x03);
            *(pOutput+3) = (b1 << 6);
            break;
        case 6:
            b1 = *pInput;
            b2 = *(pInput + 1);
            b3 = *(pInput + 2);
            b4 = *(pInput + 3);
            b5 = *(pInput + 4);
            b6 = *(pInput + 5);
            if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80)
                    || ((b4 & 0xC0) != 0x80) || ((b5 & 0xC0) != 0x80)
                    || ((b6 & 0xC0) != 0x80) )
                return 0;
            *pOutput     = (b5 << 6) + (b6 & 0x3F);
            *(pOutput+1) = (b5 << 4) + ((b6 >> 2) & 0x0F);
            *(pOutput+2) = (b3 << 2) + ((b4 >> 4) & 0x03);
            *(pOutput+3) = ((b1 << 6) & 0x40) + (b2 & 0x3F);
            break;
        default:
            return 0;
            break;
    }

    return utfbytes;
}
// #c---end
</SPAN>

相關推薦

Unicode與UTF-8互轉(C語言實現)

1.1 ASCII碼 我們知道, 在計算機內部, 所有的資訊最終都表示為一個二進位制的字串. 每一個二進位制 位(bit)有0和1兩種狀態, 因此八個二進位制位就可以組合出 256種狀態, 這被稱為一個字 節(byte). 也就是說, 一個位元組一共可以用來表示256種不

VC下unicode與utf-8互轉

使用場合： VC下使用unicode編碼，如果需要使用utf-8，這時就需要轉換（支援中文） //引數：utf8  要轉換的utf8 指標 unicode接收轉換後的buff nBuffSize buff的大小 返回值：轉換後的unicode大小 int Utf82U

IOS編碼GB2312與UTF-8互轉

GB2312轉換為UTF-8的方法 + (NSData *)UTF8WithGB2312Data:(NSData *)gb2312Data { NSStringEncoding enc = CFStringConvertEncodingToNSStringEncoding

在GBK與UTF-8互轉時遇到問題，及解決方案

當文字長度為奇數時轉為GBK再轉回UTF-8時會出現末尾字元亂碼的情況，在此特地記錄一下解決方案 最近在寫一個根據模板標籤生成word的專案，在本地測試無問題但是放到伺服器上會出現生成字元亂碼的情況， 考慮到GBK轉UTF-8使用getBytes只有在長度為

c++中gbk和utf-8互轉

gbk轉utf-8 char* G2U(const char* gb2312) { ASSERT(gb2312!=NULL); int len = MultiByteToWideChar(CP_ACP, 0, gb2312, -1, NULL, 0);

C++ 實現unicode到utf-8的轉碼

思路： 獲取字串裡面中的Unicode部分，然後將該部分轉換位utf-8格式的字元，最後將字串裡面的所有Unicode替換為utf-8即可。 廢話不多少，直接上程式碼： 標頭檔案： /* * charsetEncode.h * * Created on: Jul

c++轉碼基礎(1):各種編碼型別及unicode和uft-8互轉

什麼是Ascii編碼? 單位元組編碼,適用於所有拉丁文字字母. ASCII 碼使用指定的7 位或8 位二進位制數組合來表示128 或256 種可能的字元. 標準ASCII 碼也叫基礎ASCII碼，使用7 位二進位制數（剩下的1位二進位制為0）來表示所有的大寫和小寫字母，數字

cocos2d-x類型轉換(CCstring int string char UTF-8互轉)

htm for ons cocos2d oat form int str intvalue http://www.cnblogs.com/leehongee/p/3642308.html //int 轉 CCstring int num＝5; CCString* n

unicode與utf-8

第一個 另存為 2個 平臺 pre -- 開始 方式 數字 1. ASCII碼 我們知道，在計算機內部，所有的信息最終都表示為一個二進制的字符串。每一個二進制位（bit）有0和1兩種狀態，因此八個二進制位就可以組合出256種狀態，這被稱為一個字節（byte）。也就是說，一個

字符編碼，ASCII、Unicode與UTF-8的理解

F5 標準化 一般來說 簡書 打開文件 說了 tps can 常用 首先我們先要明白的兩點是：1、計算機中的信息都是由二進制的0和1儲存的；2、我們再計算機屏幕上看到的各種字符都是計算機系統按照一定的規則將二進制數字轉換而來的。 一、基本概念。 1、字符集（charse

快速理解編碼，unicode與utf-8

logs 聯網 長度 unicode 為什麽 互聯網 什麽 描述 com 1.為什麽編碼，因為cpu只認識數字2.ASCII 一個字符共占7位，用一個字節表示，共128個字符3.那麽ASCII浪費了最高位多可惜，出現了ISO-8859-1，一個字節，256個字符，很多協議的

關於ANSI,unicode與utf-8的區別

關於ANSI,unicode與utf-8的區別 為使計算機支援更多語言，通常使用 0x80~0xFFFF 範圍的 2 個 位元組來表示 1 個字元。比如：漢字 '中' 在 ANSI編碼 中文作業系統中，使用 [0xD6

關於字元編碼：ascii、unicode與utf-8

轉自：https://foofish.net/unicode_utf-8.html   阮一峰老師對普及計算機基礎技術功不可沒，但畢竟老師不是神，因此也避免不了對某些概念有一些錯誤的理解，《字元編碼筆記：ASCII，Unicode 和 UTF-8 》 是阮老師10年前寫的一篇關於字元編

阮一峰老師文章的常識性錯誤之 Unicode 與 UTF-8

阮一峰老師對普及計算機基礎技術功不可沒，但畢竟老師不是神，因此也避免不了對某些概念有一些錯誤的理解，《字元編碼筆記：ASCII，Unicode 和 UTF-8 》 是阮老師10年前寫的一篇關於字元編碼的科普文章，現在用 Google 搜關鍵字該文章依然名列前茅，可見他的文章有多大影響力，不過

python3中的UNICODE 與 UTF-8的簡單關係

一.字符集：asciiISO-8859-1 通常叫 做Latin-1，向下相容ASCII，此字符集支援部分於歐洲使用的語言GB2312/GBK 這就是漢字的國標碼，專門用來表示漢字，是雙位元組編碼，而英文字母和iso8859-1一致（相容iso8859-1編碼）。其中gbk編

Python2.7 中文字元編碼 & Pycharm utf-8設定、Unicode與utf-8的區別

Python2.7 中文字元編碼 & Pycharm utf-8設定、Unicode與utf-8的區別 [email protected] 作者：Zhouwan  2017-6-6  一、關於編碼和亂碼，有以下幾個重要的概念需要搞清楚： 　　  二、Pycharm 設定編碼, 可以

cocos2d-x型別轉換(CCstring int string char UTF-8互轉)

====================================== string 轉 CCStringstd::string str = "123"; CCString* ns=CCString::createWithFormat("%s",str.c_str()); CCString 轉

GBK(GB2312)與UTF-8檔案轉碼

最近使用的Intelij IDEA開發工具，轉碼有點小問題。百度了一下，Eclipse可以自動轉碼，而IDEA卻不可以。總是需要手動去轉若要把原始檔由GBK轉成UTF-8的，得靠其他方式了。網上搜羅了一下方法，然後自己整理了一下。現把程式碼貼出來，測試OK、可以直接使用！

.net的一個Bug：Int64與Byte[8]互轉的問題

有一個64位整數值：    Int64 n = 634636512000000000; 有兩種方法可以轉為位元組流 1：    byte[] buffer = new byte[8];    buffer[0] = (byte)n;    buffer[1] = (byt

No.24 我與程式碼的日常：C語言實現簡易通訊錄

#define SIZE 1000 #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> #include <string.h> typedef struct PersonInfo{ char name[102