1. 程式人生 > >網絡爬蟲--requests庫中兩個重要的對象

網絡爬蟲--requests庫中兩個重要的對象

resp head ppa except 代碼 http http響應 sts _for

當我們使用resquests.get()時,返回的時response的對象,他包含服務器返回的所有信息,也包含請求的request的信息。
首先:
response對象的屬性有以下幾個,
r.status_code是http請求的返回狀態,200表示連接成功,404表示連接失敗,這時候應該拋出異常,進行處理。
r.text是url對應的頁面內容
r.encoding是從http的header中猜測的響應內容編碼方式
r.apparent_encoding是從內容中分析出響應的內容編碼方式。
r.content是http響應內容的二進制形式

通用的代碼框架

try:
r=requests.get(url,timeout=30)
r.raise_for_status()#如果不是200,就會拋出異常
r.encoding=r.apparent_encoding
return r.text
except:
return “產生異常”

網絡爬蟲--requests庫中兩個重要的對象