如果在python 3裡面碰到下面的Error message：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 1: invalid continuation byte。

你很可能需要注意：

In python 3, bytes strings and unicode strings are now two different types. Since sockets are not aware of string encodings, they are using raw bytes strings, that have a slightly different interface from unicode strings.

So, now, whenever you have a unicode string that you need to use as a byte string, you need to encode() it. And when you have a byte string, you need to decode it to use it as a regular (python 2.x) string.

Unicode strings are quotes enclosed strings. Bytes strings are b"" enclosed strings。

decode的時候注意要用對應的編碼，比如漢字: decode("GB2312")

 

由於常常要和漢字處理打交道，因此，我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中，也積累了一點漢字編碼方面的經驗，想和大家一起分享。

一、漢字編碼的種類

    漢字編碼中現在主要用到的有三類，包括GBK，GB2312和Big5。

    1、GB2312又稱國標碼，由國家標準總局釋出，1981年5月1日實施，通行於大陸。新加坡等地也使用此編碼。它是一個簡化字的編碼規範，當然也包括其他的符號、字母、日文假名等，共7445個圖形字元，其中漢字佔6763個。我們平時說6768個漢字，實際上裡邊有5個編碼為空白，所以總共有6763個漢字。

      GB2312規定“對任意一個圖形字元都採用兩個位元組表示，每個位元組均採用七位編碼表示”，習慣上稱第一個位元組為“高位元組”，第二個位元組為“低位元組”。GB2312中漢字的編碼範圍為，第一位元組0xB0-0xF7(對應十進位制為176-247)，第二個位元組0xA0-0xFE（對應十進位制為160-254）。

    GB2312將程式碼表分為94個區，對應第一位元組（0xa1-0xfe）；每個區94個位（0xa1-0xfe），對應第二位元組，兩個位元組的值分別為區號值和位號值加32（2OH），因此也稱為區位碼。01-09區為符號、數字區，16-87區為漢字區（0xb0-0xf7），10-15區、88-94區是有待進一步標準化的空白區。

       2、Big5又稱大五碼，主要為香港與臺灣使用，即是一個繁體字編碼。每個漢字由兩個位元組構成，第一個位元組的範圍從0X81－0XFE（即129-255），共126種。第二個位元組的範圍不連續，分別為0X40－0X7E（即64-126），0XA1－0XFE（即161-254），共157種。

    3、GBK是GB2312的擴充套件，是向上相容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關係我還沒有弄明白，好像是不一致的。GBK中每個漢字仍然包含兩個位元組，第一個位元組的範圍是0x81-0xFE（即129-254），第二個位元組的範圍是0x40-0xFE（即64-254）。GBK中有碼位23940個，包含漢字21003個。

                                   表1 漢字編碼範圍

二、對漢字進行hash

    為了處理漢字的方便，在查詢漢字的時候，我們通常會用到hash的方法，那怎麼來確定一個漢字位置呢？這就和每種編碼的排列有關了，這裡主要給出一種hash函式的策略。

    對於GB2312編碼，設輸入的漢字為GBword，我們可以採用公式(C1-176)*94 + (C2-161)確定GBindex。其中，C1表示第一位元組，C2表示第二位元組。具體如下：

    GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;

    之所以用unsigned char型別，是因為char是一個位元組，如果用unsigend int，因為int是4個位元組的，所以會造成擴充套件，導致錯誤。

       對於GBK編碼，設輸入的漢字為GBKword，則可以採用公式   index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128)，其中ch1是第一位元組，ch2是第二位元組。

    具體的，

    GBKindex = ((unsigned char)GBKword[0]-129)*190 +

               ((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;

三、怎樣判斷一個漢字的是什麼編碼

直接根據漢字的編碼範圍判斷，對於GB2312和GBK可用下面兩個程式實現。

1、判斷是否是GB2312

bool isGBCode(const string& strIn)

{

    unsigned char ch1;

    unsigned char ch2;

    if (strIn.size() >= 2)

    {

        ch1 = (unsigned char)strIn.at(0);

        ch2 = (unsigned char)strIn.at(1);

        if (ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254)

            return true;

        else return false;

    }

    else return false;

}

2、判斷是否是GBK編碼

bool isGBKCode(const string& strIn)

{

    unsigned char ch1;

    unsigned char ch2;

    if (strIn.size() >= 2)

    {

        ch1 = (unsigned char)strIn.at(0);

        ch2 = (unsigned char)strIn.at(1);

        if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)

            return true;

        else return false;

    }

    else return false;

}

3、對於Big5

    它的範圍為：高位元組從0xA0到0xFE，低位元組從0x40到0x7E，和0xA1到0xFE兩部分。判斷一個漢字是否是BIG5編碼，可以如上對字元的編碼範圍判斷即可。如何定位呢？那麼也想象所有編碼排列為一個二維座標，縱座標是高位元組，橫座標是低位元組。這樣一行上的漢字個數：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那麼定位演算法分兩塊，為:  

    if 0x40<=ch2<=0x7E: #is big5 char

    index=((ch1-0xA1)*157+(ch2-0x40))*2

    elif 0xA1<=ch2<=0xFE: #is big5 char

    index=((ch1-0xA1)*157+(ch2-0xA1+63))*2

對於第二塊，計算偏移量時因為有兩塊數值，所以在計算後面一段值時，不要忘了前面還有一段值。0x7E-0x40+1=63。

四、如果判斷一個字元是西文字元還是中文字元

    大家知道西文字元主要是指ASCII碼，它用一個位元組表示。且這個字元轉換成數字之後，該數字是大於0的，而漢字是兩個位元組的，第一個位元組的轉化為數字之後應該是小於0的，因此可以根據每個位元組轉化為數字之後是否小於0，判斷它是否是漢字。

    例如，設輸入字為strin，則，

     If (strin.at(0) < 0)

       cout << ”是漢字” << endl;

     else cout << ”不是漢字” << endl;

五、編碼表下載

   GBK編碼表，下載

   GB2312編碼表，下載