1. 程式人生 > >python-網路爬蟲初學三:網路異常的捕獲

python-網路爬蟲初學三:網路異常的捕獲

一、URLError產生原因

# 網路無連線,即本機無法上網
# 連線不到特定伺服器
# 伺服器不存在
# 使用try-except捕獲異常
request = urllib2.Request("http://www.xxxxx.com")
try:
    urllib2.urlopen(request)
except urllib2.URLError, e:
    print e.reason

二、URLError子類HTTPError的狀態碼
100:繼續 客戶端應當繼續傳送請求。客戶端應當繼續傳送請求的剩餘部分,或者如果請求已經完成,忽略這個響應。
101: 轉換協議 在傳送完這個響應最後的空行後,伺服器將會切換到在Upgrade 訊息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該採取類似措施。
102:繼續處理 由WebDAV(RFC 2518)擴充套件的狀態碼,代表處理將被繼續執行。 200:請求成功 處理方式:獲得響應的內容,進行處理 201:請求完成,結果是建立了新資源。新建立資源的URI可在響應的實體中得到 處理方式:爬蟲中不會遇到 202:請求被接受,但處理尚未完成 處理方式:阻塞等待 204:伺服器端已經實現了請求,但是沒有返回新的信 息。如果客戶是使用者代理,則無須為此更新自身的文件檢視。 處理方式:丟棄 300:該狀態碼不被HTTP/1.0的應用程式直接使用, 只是作為3XX型別迴應的預設解釋。存在多個可用的被請求資源。 處理方式:若程式中能夠處理,則進行進一步處理,如果程式中不能處理,則丟棄
301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源 處理方式:重定向到分配的URL 302:請求到的資源在一個不同的URL處臨時儲存 處理方式:重定向到臨時的URL 304:請求的資源未更新 處理方式:丟棄 400:非法請求 處理方式:丟棄 401:未授權 處理方式:丟棄 403:禁止 處理方式:丟棄 404:沒有找到 處理方式:丟棄 500:伺服器內部錯誤 伺服器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在伺服器端的原始碼出現錯誤時出現。 501:伺服器無法識別 伺服器不支援當前請求所需要的某個功能。當伺服器無法識別請求的方法,並且無法支援其對任何資源的請求。
502:錯誤閘道器 作為閘道器或者代理工作的伺服器嘗試執行請求時,從上游伺服器接收到無效的響應。 503:服務出錯 由於臨時的伺服器維護或者過載,伺服器當前無法處理請求。這個狀況是臨時的,並且將在一段時間以後恢復。 HTTPError例項產生後會有一個code屬性,這就是是伺服器傳送的相關錯誤號。 因為urllib2可以為你處理重定向,也就是3開頭的代號可以被處理,並且100-299範圍的號碼指示成功,所以你只能看到400-599的錯誤號碼

request = urllib2.Request("http://blog.csdn.net/cqcre")
try:
    urllib2.urlopen(request)
except urllib2.HTTPError, e:
    print e.code
    print e.reason