一.urlib異常處理

1、URLError異常

1）訪問成功時：

from urllib import  request, error
try:
    url = 'https://www.baidu.com/hello.html'
    response = request.urlopen(url)
    print(response.read().decode('utf-8'))
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
    print(e.reason)
else:
    print("成功")
 

我們可以成功的訪問到百度頁面

2）有異常時

from urllib import  request, error

url = 'https://www.baidu.com/hello.html'
response = request.urlopen(url)
print(response.read().decode('utf-8'))

這裡我斷開了網路，出現了URLError

2、HTTPError

每一個從伺服器返回的HTTP響應都有一個狀態碼。其中，有的狀態碼錶示伺服器不能完成相應的請求，預設的處理程式可以為我們處理一些這樣的狀態碼（如返回的響應是重定向，urllib2會自動為我們從重定向後的頁面中獲取資訊）。有些狀態碼，urllib2模組不能幫我們處理，那麼urlopen函式就會引起HTTPError異常,其中典型的有404/401

  ##因為URLError是HTTPError的父類，所以在捕獲異常的時候可以先找子類是否異常，如果子類找不到，再找父類即可
from urllib import  request, error
try:
    url = 'http://www.douban.com/hello89.html'
    response = request.urlopen(url)
    print(response.read().decode('utf-8'))
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
    print(e.reason)
else:
    print("成功")
 

上例是我訪問一個豆瓣不存在的網頁

常見狀態返回碼

 100：繼續 客戶端應當繼續傳送請求。客戶端應當繼續傳送請求的剩餘部分，或者如果請求已經完成，忽略這個響應。
 101： 轉換協議 在傳送完這個響應最後的空行後，伺服器將會切換到在Upgrade 訊息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該採取類似措施。 
 102：繼續處理 由WebDAV（RFC 2518）擴充套件的狀態碼，代表處理將被繼續執行。 
 200：請求成功 處理方式：獲得響應的內容，進行處理 201：請求完成，結果是建立了新資源。新建立資源的URI可在響應的實體中得到 處理方式：爬蟲中不會遇到 
 202：請求被接受，但處理尚未完成 處理方式：阻塞等待 
 204：伺服器端已經實現了請求，但是沒有返回新的信 息。如果客戶是使用者代理，則無須為此更新自身的文件檢視。 處理方式：丟棄 
 300：該狀態碼不被HTTP/1.0的應用程式直接使用， 只是作為3XX型別迴應的預設解釋。存在多個可用的被請求資源。 處理方式：若程式中能夠處理，則進行進一步處理，如果程式中不能處理，則丟棄 
 301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源 處理方式：重定向到分配的URL 
 302：請求到的資源在一個不同的URL處臨時儲存 處理方式：重定向到臨時的URL 
 304：請求的資源未更新 處理方式：丟棄 400：非法請求 處理方式：丟棄 
 401：未授權 處理方式：丟棄 
 403：禁止 處理方式：丟棄 
 404：沒有找到 處理方式：丟棄
 500：伺服器內部錯誤 伺服器遇到了一個未曾預料的狀況，導致了它無法完成對請求的處理。一般來說，這個問題都會在伺服器端的原始碼出現錯誤時出現。 
 501：伺服器無法識別 伺服器不支援當前請求所需要的某個功能。當伺服器無法識別請求的方法，並且無法支援其對任何資源的請求。 
 502：錯誤閘道器 作為閘道器或者代理工作的伺服器嘗試執行請求時，從上游伺服器接收到無效的響應。 
 503：服務出錯 由於臨時的伺服器維護或者過載，伺服器當前無法處理請求。這個狀況是臨時的，並且將在一段時間以後恢復。

3、超時異常處理

from urllib import request, error
import socket

try:
    url = 'https://www.baidu.com'
    response = request.urlopen(url, timeout=0.01)
    print(response.read().decode('utf-8'))
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
    print(e.reason)
    if isinstance(e.reason, socket.timeout):
        print("超時")
else:
    print("成功")

二.urlib解析