2. 程式人生 > >Python爬蟲——Requests庫

Python爬蟲——Requests庫

阿新 • • 發佈：2018-12-05

Python爬蟲——Requests庫

Requests庫

  • HTTP協議

    在說爬蟲之前，先了解了解什麼是HTTP協議。

    HTTP–Hyper Text Transfer Protocol，超文字傳輸協議，是一種建立在TCP上的無狀態連線，整個基本的工作流程是客戶端傳送一個HTTP請求，說明客戶端想要訪問的資源和請求的動作，服務端收到請求之後，服務端開始處理請求，並根據請求做出相應的動作訪問伺服器資源，最後通過傳送HTTP響應把結果返回給客戶端。

    URL格式：http://host [:port][path]

    host: 合法的Internet主機域名或IP地址
    port:埠號，預設則為80

    path:請求資源的路徑

    HTTP協議對資源的操作

    GET，HEAD，POST, PUT, PATCH, DELETE(請自行查閱相關資料)

    在這裡強調一下GET與POST的區別：

    1. GET方式可以通過URL提交資料，待提交的資料是URL的一部分；採用POST方式，待提交的資料放置在HTML HEADER內
    2. GET方式提交的資料最多不超過1024位元組，POST沒有對提交內容的長度限制
    3. 安全性問題。使用GET時引數會顯示在URL中，而POST不會。所以，如果這些資料是敏感資料，建議採用POST方式

  • 什麼是Requests庫?

    requests庫是一個簡潔且簡單的處理HTTP請求的第三方庫。

    由於是第三方庫，所以需要自行安裝，pip install requests即可。

  • Requests庫的主要方法

    方法 描述
    .request() 構造一個請求，以支援以下各種方法
    .get() 獲取HTML網頁的主要方法，對應GET請求
    .head() 獲取HTML網頁頭資訊
    .post() 提交POST請求
    .put() 提交PUT請求
    .patch() 提交區域性修改請求
    .delete() 提交刪除請求

    關於GET，POST，PUT等方法，請自行學習HTML中的GET，POST，PUT等請求，便於加深理解。

  • 什麼是response物件

    和瀏覽器的互動一樣，request.get()等方法代表請求過程，它返回的Response物件代表響應。返回內容作為一個物件以便操作。

  • Respon物件的常用屬性與方法

    屬性 描述
    r.status_code 請求返回狀態，200（成功），404（失敗）
    r.text 響應內容的字串形式，即URL的頁面內容
    r.encoding 從HTTPheader中猜測的響應內容編碼方式
    r.apparent_encoding 從內容分析出的響應內容的編碼方式
    r.content 響應內容的二進位制形式
    r.headers 響應內容的頭部資訊
    r.url 返回請求的URL
方法 描述
r.json() 如果HTTP響應內容包含JSON格式資料，則用該方法解析JSON資料
r.raise_for_status 如果訪問狀態不是200，則產生HTTPError異常

注：HTTPheader中的charset欄位記錄了響應內容的編碼方式，如果為空，則預設編碼方式為“ISO-8859-1”,

直接列印內容會出現亂碼，需要修改其編碼方式。可通過r.encoding = r.apparent_encoding修改。

>>> import requests                                 #import Requests庫
>>> r = requests.get("https://wwww.baidu.com")      #使用get方法開啟百度連結
>>> type(r)                                         #返回的是response物件

<class 'requests.models.Response'>
>>> r.status_code				    #檢視請求狀態
200
>>> r.text[:50]					    #響應內容
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><met'
>>> r.encoding					    #編碼方式
'ISO-8859-1'
>>> r.apparent_encoding				    #從內容分析出的編碼方式
'utf-8'
>>> r.content					    #響應內容的二進位制形式

  • Requests庫的常用異常

    異常 描述
    ConnectionError 網路連線錯誤異常
    HTTPError HTTP錯誤
    URLRequired URL缺失異常
    TooManyRedirects 超過最大重定向次數
    ConnectTimeout 連結遠端伺服器超時
    Timeout 請求URL超時

  • 一般網頁爬取的通用框架（用於練習的小程式）

    def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "爬取異常"

  • request方法詳細引數

    requests.request(method,url,**kwargs)

    method:指請求型別即，GET，POST，PUT等。

    URL：訪問的URL

    **kwarys,包含13個引數，以下是其詳細說明

    params: 字典或位元組序列，作為引數增加到URL中

    data: 字典，位元組序列或檔案物件，作為Request的內容
    JSON : JOSN格式的資料，作為Request的內容

    headers：字典，HTTP定製頭（模擬瀏覽器進行訪問）
    cokies：字典或CpplieJar,Request中的cookie
    auth: 元組，支援HTTP認證功能
    files：字典型別，傳輸檔案
    timeout: 設定超時時間，秒為單位
    proxies: 字典型別，設定訪問代理伺服器，可以增加登陸認證
    allow_redirects: True//False，預設為True，重定向開關
    stream: True/False,預設為True,獲取內容立即下載開關
    verify: True/False,預設為True，認證SSL證書開關

    注意：Requests庫的其他請求方法，都是對request方法的封裝
    請看GET的原始碼：
    def get(url, params=None, **kwargs):
    r"""Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary, list of tuples or bytes to send
        in the body of the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)   
    #通過呼叫request方法，得到get方法的返回值

    講了這麼多，現在就來看看程式碼吧！

    1.最基本的GET方法

    requests.get(url, params = None, **kwargs)

    其中params預設為None

    >>> import requests
>>> r = requests.get("https://www.baidu.com")
>>> r.status_code
200
>>> r.encoding = r.apparent_encoding
>>> r.text
    帶引數的GET方法
    >>> r = requests.get("https://www.baidu.com/s?wd=Python")
>>> r.status_code
200
>>> r.encoding = r.apparent_encoding
>>> r.text
    2.通過params引數可以達到同樣的目的，params為字典型別，增加到URL中。
    >>> data = {"wd" : "Python"}
>>> r=requests.get("https://www.baidu.com/s?", params = data)
>>> r.status_code
200
>>> r.url
'https://www.baidu.com/s?wd=Python'

    上述兩種的結果是相同的，通過params引數傳遞一個字典內容，從而直接構造url
    注意：第二種方式通過字典的方式的時候，如果字典中的引數為None則不會新增到url.

    3.解析JSON

    注意需要匯入json庫，下面看程式碼：

    >>> import json
>>> import requests
>>> r = requests.get("https://www.baidu.com")
>>> r.status_code
200
>>> r.json()
>>> #如果HTTP響應內容包含JSON格式資料，則用該方法解析JSON資料
	#以上程式碼會報錯，原因是HTTP響應內容沒有JSON格式資料。這裡只是演示一下。
    4.獲取二進位制資料

    使用r.content

    主要用於獲取視訊圖片等二進位制資源。

    5.提交Headers

    直接訪問某些網站（如，知乎）是無法訪問的，原因之一是其URL需要提交headers

    >>> import requests
>>> r = requests.get("https://www.zhihu.com")
>>> r.status_code
400
#出現400，表示訪問出錯

    Chrome的使用者代理如下：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36

    將Chrome的頭部資訊新增到get中,注意使用字典格式

    >>> import requests
>>> headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"}
>>> r = requests.get("https://www.zhihu.com", headers = headers)
>>> r.status_code
200

#User-Agent，使用者代理，簡稱 UA，它是一個特殊字串頭，使得伺服器能夠識別客戶使用的作業系統及版本、CPU 型別、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器外掛等
    6.POST請求

    requests.post(url, data = None, json = None, **kwargs)

    通過在傳送post請求時新增一個data引數,data引數為字典型別。

    >>> data = {"name":"germey", "age":"23"}
>>> r = requests.post("http://httpbin.org/post", data = data)
>>> r.status_code
200
>>> r.text
'{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "age": "23", \n    "name": "germey"\n  }, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Connection": "close", \n    "Content-Length": "18", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "httpbin.org", \n    "User-Agent": "python-requests/2.20.0"\n  }, \n  "json": null, \n  "origin": "113.251.223.127", \n  "url": "http://httpbin.org/post"\n}\n'

    在form欄位中就添加了data資料

    以上就是Requests庫的基本用法。

    下面附上幾個mooc上的小例項

轉載請註明：https://blog.csdn.net/qq_43544492

Requests庫的更多用法，可以參考Requests庫的官方文件：http://docs.python-requests.org

相關推薦

python爬蟲---requests庫的用法

href 分享圖片 三方庫 put src from ges 2.x con requests是python實現的簡單易用的HTTP庫，使用起來比urllib簡潔很多 因為是第三方庫，所以使用前需要cmd安裝 pip install requests 安裝完成後imp

Python爬蟲——Requests庫

Python爬蟲——Requests庫 Requests庫 HTTP協議 在說爬蟲之前，先了解了解什麼是HTTP協議。 HTTP–Hyper Text Transfer Protocol，超文字傳輸協議，是一種建立在TCP上的無狀態連線，整個基本的工作流

Python爬蟲------requests庫

1.requests庫中主要包括的方法有7個： requests.request()：構造一個請求，支撐一下各方法的基礎方法 requests.get()：獲取HTML網頁的主要方法，對應於HTTP的GET requests.head()：獲取HTML網頁的頭資訊方法，

Windows環境下python爬蟲常用庫和工具的安裝（UrlLib、Re、Requests、Selenium、lxml、Beautiful Soup、PyQuery 、PyMySQL等等）

本文列出了使用python進行爬蟲時所需的常用庫和工具的安裝過程，基本上只有幾行命令列的功夫就可以搞定，還是十分簡單的。 一、UrlLib 與 Re 這兩個庫是python的內建庫，若系統中已經成功安裝了python的話，這兩個庫一般是沒有什麼問題的。 驗證 開啟命令列，進入

python使用requests庫和re庫寫的京東商品資訊爬蟲

1 import requests 2 import re 3 4 def getHTMLText(url): 5 try: 6 r = requests.get(url, timeout=30) 7 r.raise_for_status()

python使用requests庫和re庫寫的京東商品信息爬蟲

fin 搜索 goods tle 爬取 val timeout stat for 1 import requests 2 import re 3 4 def getHTMLText(url): 5 try: 6 r = reques

python的requests庫爬蟲登入12306鐵路網

本文使用python的第三方庫requests實現12306網的登入以及驗證碼的提交功能。 本次操作是手動輸入驗證碼，並不是自動識別提交驗證碼，因為自動識別提交驗證碼需要用到影象處理與模式識別，還沒學到這方面的知識。 import requests #1.建立會話sess

Python-爬蟲-基本庫（requests）使用-抓取貓眼電影Too100榜

spa spi fire tools not agen ext get pytho 1 #抓取貓眼電影，https://maoyan.com/board/4 榜單電影列表 2 import requests 3 import re 4 from requests

python爬蟲requests的庫使用詳解

        Requests是python實現的簡單易用的HTTP庫，使用起來比urllib簡潔很多,Requests庫是用pythony語言開發，基urllib，採用Apache2 Licensed 開源協議的 第三方HTTP庫。  

Python問題-requests庫爬蟲報403

一：一般的requests庫def gethtmltext(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encoding =

資料爬蟲（三）：python中requests庫使用方法詳解

一、什麼是Requests Requests 是⽤Python語⾔編寫，基於urllib，採⽤Apache2 Licensed開源協議的 HTTP 庫。它⽐ urllib 更加⽅便，可以節約我們⼤量的⼯作，完全滿⾜HTTP測試需求。 ⼀句話——Python實現的簡單易

爬蟲requests庫簡單抓取頁面資訊功能實現（Python）

import requests import re, json,time,random from requests import RequestException UserAgentList = [ "Mozilla/5.0 (Windows NT 6.1; WO

[python 學習] requests 庫的使用

python 客戶 use chrome 接受 tex () requests http 1、get請求 # -*- coding: utf-8 -*- import requests URL_IP = "http://b.com/index.php" pyload =

網絡爬蟲--requests庫中兩個重要的對象

resp head ppa except 代碼 http http響應 sts _for 當我們使用resquests.get（）時，返回的時response的對象，他包含服務器返回的所有信息，也包含請求的request的信息。 首先： response對象的屬性有以下幾個

python爬蟲 urllib庫基本使用

afa 識別 urllib spa response aid gen odin pos 以下內容均為python3.6.*代碼 學習爬蟲，首先有學會使用urllib庫，這個庫可以方便的使我們解析網頁的內容，本篇講一下它的基本用法 解析網頁 #導入urllib from u

python 爬蟲 requests+BeautifulSoup 爬取巨潮資訊公司概況代碼實例

pan 字符 selenium 5.0 target 自我 color list tails 第一次寫一個算是比較完整的爬蟲，自我感覺極差啊，代碼low，效率差，也沒有保存到本地文件或者數據庫，強行使用了一波多線程導致數據順序發生了變化。。。 貼在這裏，引以為戒吧。 #

Python爬蟲常用庫的安裝及其環境配置

文檔 後臺 one nbsp 代理 img _id resp baidu Python常用庫的安裝 urllib、re 這兩個庫是Python的內置庫，直接使用方法import導入即可。 requests 這個庫是請求的庫。我們需

python爬蟲urllib庫使用

urllib包括以下四個模組： 　　1.request:基本的HTTP請求模組，可以用來模擬傳送請求。就像在瀏覽器裡輸入網址然後回車一樣，只需要給庫方法傳入URL以及額外的引數，就可以模擬實現這個過程。 　　2.error：異常處理模組 　　3.parse：提供了許多URL處理方法，如拆分、解析、合併等

python爬蟲urllib庫詳解

什麼是Urllib Urllib是python內建的HTTP請求庫，中文文件如下：https://docs.python.org/3/library/urllib.html包括以下模組urllib.request 請求模組urllib.error 異常處理模組urllib.parse url解析模組urll

python爬蟲pyquery庫詳解

PyQuery庫也是一個非常強大又靈活的網頁解析庫，如果你有前端開發經驗的，都應該接觸過jQuery,那麼PyQuery就是你非常絕佳的選擇，PyQuery 是 Python 仿照 jQuery 的嚴格實現。語法與 jQuery 幾乎完全相同，所以不用再去費心去記一些奇怪的方法了。 官網地址：http://