1. 程式人生 > >Python爬蟲(四) URLError、HTTPError異常處理

Python爬蟲(四) URLError、HTTPError異常處理

1.URLError

首先解釋下URLError可能產生的原因:

網路無連線,即本機無法上網
連線不到特定的伺服器
伺服器不存在

在程式碼中,我們需要用try-except語句來包圍並捕獲相應的異常。下面是一個例子:

import urllib.request

request = urllib.request.Request(‘https://www.xxx.com‘)
try:
urllib.request.urlopen(request)
print(“success”)
except urllib.request.URLError as e:
print(“error”,e)

我們利用了 urlopen方法訪問了一個不存在的網址,執行結果如下:

error <urlopen error [WinError 10060] 由於連線方在一段時間後沒有正確答覆或連線的主機沒有反應,連線嘗試失敗。>

2.HTTPError

HTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,伺服器上都會對應一個應答物件response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文件,urllib將對此進行處理。

其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼錶示HTTP協議所返回的響應的狀態。下面列出一些常見的狀態碼:

200:請求成功      處理方式:獲得響應的內容,進行處理 
302:請求到的資源在一個不同的URL處臨時儲存        處理方式:重定向到臨時的URL 
304:請求的資源未更新     處理方式:丟棄 401:未授權     處理方式:丟棄 
403:禁止      處理方式:丟棄 
404:沒有找到     處理方式:丟棄 
500:伺服器內部錯誤     伺服器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在伺服器端的原始碼出現錯誤時出現。    
501:伺服器無法識別  伺服器不支援當前請求所需要的某個功能。當伺服器無法識別請求的方法,並且無法支援其對任何資源的請求。   
502
:錯誤閘道器 作為閘道器或者代理工作的伺服器嘗試執行請求時,從上游伺服器接收到無效的響應。

HTTPError例項產生後會有一個code屬性,這就是是伺服器傳送的相關錯誤號。
因為urllib可以為你處理重定向,也就是3開頭的代號可以被處理,並且100-299範圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。