此為北理嵩天老師mooc課程【網路爬蟲與資訊提取】的課程學習筆記。

1安裝 Requests 庫

使用命令列輸入：

pip install requests

或者：

python -m pip install requests 

2 requests 的常用方法

獲取資料可以使用head和get 傳送修改可以使用ppost、patch、put等方法。 patch 和 put的區別在於patch可以只提交需要更新的資料，而put需要將所有欄位資料重新提交，不更改的會被刪除。

get方法

構造向伺服器請求資源的requests物件，返回的的為response物件，包含各種資訊。

requests.get(url, params=None, **kwargs)

包含頁面連結、URL額外引數字典或位元組流格式、其他訪問控制可選引數。 Response 返回的常見屬性：非函式無（）

連線異常

常用的requests庫的異常，注意不是函式，無（）

判斷返回的response型別的狀態是不是200，如果返回的不是200說明有錯誤，在程式中產生requests.HTTPError異常

r.raise_for_status()

爬取網頁的通用程式碼框架：

import requests
def getHTMLText(url):
    try:
        r = requests.get(url , timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "產生異常"

if __name__ == "__main__":
    url = "https://www.csdn.net/"
    print(getHTMLText(url))