中文日誌亂碼問題

一、編碼支援
. ASCII編碼：美國資訊交換標準程式碼（American Standard Code for InformationInterchange，簡稱ASCII）是一種用於資訊交換的美國標準程式碼，它的作用是給英文字母、數字、標點、字元轉換成計算機能識別的二進位制數規定了一個大家都認可並遵守的標準。
. GB2312編碼：適用於漢字處理、漢字通訊等系統之間的資訊交換
. GBK編碼：是漢字編碼標準之一，是在 GB2312-80 標準基礎上的內碼擴充套件規範，使用了雙位元組編碼
. ANSI是與你使用的windows作業系統的語言有關係的，向windows 7 簡體中文版就是GBK（用一個位元組表示英文，用兩個位元組表示一箇中文）
. Unicode編碼：這是一種世界上所有字元的編碼，但是它沒有規定的儲存方式。Unicode標準也在不斷髮展，但最常用的是用兩個位元組表示一個字元（如果要用到非常偏僻的字元，就需要4個位元組）。現代作業系統和大多數程式語言都直接支援Unicode。
. UTF-8編碼：是 Unicode Transformation Format - 8 bit 的縮寫， UTF-8 是 Unicode 的一種實現方式。它是可變長的編碼方式，可以使用 1~4 個位元組表示一個字元，可根據不同的符號而變化位元組長度。

二、編碼轉換
Python內部的字串一般都是 Unicode編碼。

1. 程式碼中字串的預設編碼與程式碼檔案本身的編碼是一致的。
2. 所以要做一些編碼轉換通常是要以Unicode作為中間編碼進行轉換的，即先將其他編碼的字串解碼（decode）成 Unicode，再從 Unicode編碼（encode）成另一種編碼。Gbk儲存的字元->decode(“GBK”)->unicode->encode(“utf-8”)

Ø decode 的作用是將其他編碼的字串轉換成 Unicode 編碼
例如：name.decode(“GB2312”)，表示將GB2312編碼的字串name轉換成Unicode編碼
Ø encode 的作用是將Unicode編碼轉換成其他編碼的字串
例如： name.encode(”GB2312“)，表示將unicode字串name轉換成GB2312編碼
Ø進行編碼轉換的時候必須先知道 name 是那種編碼，然後 decode 成Unicode 編碼，最後再 encode 成需要編碼
Øname 已經就是 Unicode 編碼了，那麼就不需要進行 decode 進行解碼轉換了，直接用 encode 就可以編碼成你所需要的編碼

Ø對中文unicode字元decode會報錯。英文字元呼叫decode方法不會有問題。
u’中文’把資料已經儲存為unicode。當用decode(‘gbk’)解碼時，就變成非unicode編碼（ASCII碼）了。當print到螢幕時，把ASCII編碼（encode）成（‘gbk’）。但是，ASCII碼不支援中文。報錯！
英文不報錯是因為ASCII碼支援英文（python程式碼）。

三、檔案儲存和讀取的編碼
.在計算機記憶體中，統一使用Unicode編碼，當需要儲存到硬碟或者需要傳輸的時候，就轉換為UTF-8編碼。
.用記事本編輯的時候，從檔案讀取的UTF-8字元被轉換為Unicode字元到記憶體裡，編輯完成後，儲存的時候再把Unicode轉換為UTF-8儲存到檔案：

但是，檔案含有GBK編碼的中文會報錯（python程式碼）。
有一個觀點得理清：並不是中文就是是gbk編碼
gbk是一種編碼方式，gbk可以表示中文
utf-8 也是一種編碼方式，也可以表示中文
主要取決於你的檔案本身是通過什麼格式編碼的：
1、 如果在windows下，通過新建檔案，手工輸入中文，則編碼格式是gbk，因為中文版的windows下，gbk是預設編碼格式
2、 如果在pycharm或者其他編譯器 下，新建檔案，並且寫入的中文，則編碼格式是utf-8，如果統一更改過pycharm等編輯器的編碼格式。

從檔案中讀取到記憶體，是以unicode儲存中文（‘gbk’）編碼。終端顯示時，decode(‘gbk’)轉碼為中文（‘gbk’）。
如果用decode(‘utf-8’)轉碼時，會因為編碼方式與中文編碼（‘gbk’）不同報錯。

四、RIDE中文日誌亂碼問題

因為 Windows 平臺是 gbk（cp936）編碼，需要判斷。
原始碼：testrunner.py
C:\Python27\Lib\site-packages\robotide\contrib\testrunner

# 匯入 platform
import platform

    def pop(self):
        result = ""
        for _ in xrange(self._queue.qsize()):
            try:
                result += self._queue.get_nowait()
            except Empty:
                pass
        # Author: Allan Ma
        # 判斷是否 Windows平臺
        if platform.system() == 'Windows':
            return result.decode('gbk')
        #
        return result.decode('UTF-8')

list，tuple和dict中出現的亂碼

原始碼：unic.py
C:\Python27\Lib\site-packages\robot\utils

版本1：robotframework2.8.5

A. import json；
B. 找到程式碼塊：def _unic(item, *args)，新增程式碼。

版本2：robotframework3.0.2

A. import json；
B. 找到程式碼塊：def unic(item)，新增程式碼。

顯示正常中文字元

console中出現的亂碼

為什麼CMD會出現亂碼呢？這是因為我們寫的RIDE程式在Windows中預設是cp437編碼，通過RIDE編譯後，也是編譯為cp437編碼，而這時cmd是通過cp936進行解析的，所以會出現中文亂碼。

版本1：robotframework2.8.5

解決方法：

${err}	Evaluate	str('${result.stderr}').decode('cp936')

版本2：robotframework3.0.2

原始碼：encodingsniffer.py
C:\Python27\Lib\site-packages\robot\utils

顯示正常中文字元

五、用json處理完list，tuple和dict中亂碼之後產生的問題：無法以列表，元組和字典的方式讀取資料

資料驅動：從CSV檔案中讀取資料。但是，通過json轉換後，dict變成str。無法以字典的方式讀取。

關鍵字：Read CSV File

關鍵字：unic處理編碼問題。return item中的資料是str。

新增json.loads()方法處理

原理：
json.dumps : dict轉成str
json.loads : str轉成dict

PS：不要把 json.dumps & json.loads 和 json.dump & json.load 搞混了。
json.dumps：把python資料儲存為json。
json.load：從檔案中讀取json資料。