1. 程式人生 > >Python中轉碼錯誤遇到 illegal multibyte sequence

Python中轉碼錯誤遇到 illegal multibyte sequence

當呼叫如下語句:

re_data = re_data.decode('gbk') #re_data 是#-*- coding: cp936 -*-型別字串,即gbk編碼

如果字串中有非法字元,有時會報錯,丟擲如下異常:

'gbk' codec can't decode bytes in position 19566-19567: illegal multibyte sequence

解決思路,把相應的非法字元刪掉。一個字串中可能會多次遇到非法字元,所以用了遞迴。如下為轉碼函式:

def transformCodec(re_data):#ascii (gbk) 轉 unicode
    try:
        re_data = re_data.decode('gbk')
    except Exception as error:
        print error
        print 'delete illegal string,try again...'
        
        pos = re.findall(r'decodebytesinposition([\d]+)-([\d]+):illegal',str(error).replace(' ',''))
        if len(pos)==1:
            re_data = re_data[0:int(pos[0][0])]+re_data[int(pos[0][1]):]
            re_data = transformCodec(re_data)
            return re_data
    return re_data

呼叫:
re_data = transformCodec(re_data) #轉碼
可能方法比較笨,如果誰有更好的方法,歡迎留言告知。