python 爬蟲 網頁亂碼問題 解決方法
在使用python爬取網頁時,經常會遇到亂碼問題,一旦遇到亂碼問題,就很難得到有用的資訊。本人遇到亂碼問題,一般有以下幾個方式:
1、檢視網頁原始碼中的head標籤,找到編碼方式,例如:
在上圖中,可以看到charset='utf-8',說明這個網頁很大可能是採用‘UTF-8’編碼(是很大可能,但不是百分之百),因此可以試試這個編碼方式:
result = response.content.decode('utf-8')
這種方式得到的內容基本上就不會亂碼
2、如果上述的方式沒有任何作用,頁面依然亂碼;或者在head標籤下並沒有找到charset屬性;或者我們要採集很多網頁的資訊,而且這些網頁的編碼方式不盡相同,我們不可能做到一個一個網頁的去檢視head標籤,那麼可以採用下面的方式解決亂碼。
2.1 python 的 chardet庫
可以使用下面的方式解決亂碼問題
result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
從輸出結果可以看出這是“猜測”編碼,猜測的方式是先收集各種編碼的特徵字元,根據特徵字元判斷,就能有很大概率“猜對”。
這種方法的效率很低,如果採集的網頁很大,可以只猜測其中一段的原始碼,即
result = chardet.detect(response.content[:1000])
2.2 response的編碼
也可以使用另一種方法,即response自有的encoding,apparent_encoding這兩個變數。
response.encoding一般是從response.headers中content-type欄位中的charset的值,其它情況我也不是很瞭解。
response.apparent_encoding 一般是採用上述的 python 的 chardet庫這種方法。
因此可以用下面的方式解決亂碼問題
data = response.content.decode(response.apparent_encoding)
3、一般情況下,上述兩個方法可以解決亂碼問題。但是如果上述兩個方式不能解決,那有可能是網頁的壓縮導致的。這種問題用下面的方法解決。
檢查一下你寫的頭資訊是不是包含了Accept-Encoding這個欄位,如果有,請刪除這個欄位,亂碼問題就會得到解決
headers = {
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Connection': 'keep-alive',
}
4、很不幸,如果上述的方式都沒幫到你,那就說明你可能遇到了加密。目前我還沒有遇到過上述方法不能解決的亂碼網頁。如果你遇到了或者你沒有能解決,可以回覆我,我嘗試幫你解決。