2. 程式人生 > >python3爬蟲（一）requests庫學習

python3爬蟲（一）requests庫學習

阿新 • • 發佈：2018-12-10

前段時間利用零散時間在mooc上跟著嵩天老師學習了python爬蟲的相關知識，於是想把自己的學習經歷寫下來，對爬蟲的相關知識做一個歸納總結，文中如果有錯誤或者是不嚴謹的地方，歡迎指出和交流。

下面我們開始介紹requests庫。

requests庫是一個常用的用於http請求的模組，它使用python語言編寫，可以方便的對網頁進行爬取，是學習python爬蟲的較好的http請求模組。

一、 requests模組的安裝

首先我們要繼續requests模組的安裝。

1、 pip命令安裝

  • 在windows系統下只需要在命令列輸入命令 pip install requests

    即可安裝。

  • 在 linux 系統下，只需要輸入命令 sudo pip install requests ，即可安裝。

2、下載安裝包安裝

由於pip命令可能安裝失敗所以有時我們要通過下載第三方庫檔案來進行安裝。

在github上的地址為：https://github.com/requests/requests
下載檔案到本地之後，解壓到python安裝目錄。
之後開啟解壓檔案，在此處執行命令列並輸入：python setup.py install 即可。

之後我們測試requests模組是否安裝正確，在互動式環境中輸入 import requests 如果沒有任何報錯，說明requests模組我們已經安裝成功了

二、requests模組的使用方法

1、requests庫的七個主要方法

方法 解釋
requests.request() 構造一個請求，支援以下各種方法
requests.get() 獲取html的主要方法
requests.head() 獲取html頭部資訊的主要方法
requests.post() 向html網頁提交post請求的方法
requests.put() 向html網頁提交put請求的方法
requests.patch() 向html提交區域性修改的請求
requests.delete() 向html提交刪除請求

（1）requests.get()

這個方法是我們平時最常用的方法之一，通過這個方法我們可以瞭解到其他的方法，所以我們詳細介紹這個方法。
具體引數是：

r=requests.get(url,params,**kwargs)
  
    
   
  • 1
    •
  • url: 需要爬取的網站地址。
  • params: 翻譯過來就是引數， url中的額外引數，字典或者位元組流格式，可選。
  • **kwargs : 12個控制訪問的引數
    我們先來講講**kwargs:

**kwargs有以下的引數，對於requests.get,其第一個引數被提出來了。

  • params：字典或位元組序列， 作為引數增加到url中,使用這個引數可以把一些鍵值對以?key1=value1&key2=value2的模式增加到url中
    例如：kv = {‘key1: ’ values’, ‘key2’: ‘values’}
    r = requests.request(‘GET’, ‘http:www.python123.io/ws’, params=kw)
  • data：字典，位元組序或檔案物件，重點作為向伺服器提供或提交資源是提交，，作為request的內容，與params不同的是，data提交的資料並不放在url連結裡， 而是放在url連結對應位置的地方作為資料來儲存。，它也可以接受一個字串物件。

  • json：json格式的資料， json合適在相關的html，http相關的web開發中非常常見， 也是http最經常使用的資料格式， 他是作為內容部分可以向伺服器提交。
    例如：kv = {”key1’: ‘value1’}
    r = requests.request(‘POST’, ‘http://python123.io/ws‘, json=kv)

  • headers：字典是http的相關語，對應了向某個url訪問時所發起的http的頭i欄位， 可以用這個欄位來定義http的訪問的http頭，可以用來模擬任何我們想模擬的瀏覽器來對url發起訪問。
    例子： hd = {‘user-agent’: ‘Chrome/10’}
    r = requests.request(‘POST’, ‘http://python123.io/ws‘, headers=hd)

  • cookies：字典或CookieJar，指的是從http中解析cookie

  • auth：元組，用來支援http認證功能

  • files：字典， 是用來向伺服器傳輸檔案時使用的欄位。
    例子：fs = {‘files’: open(‘data.txt’, ‘rb’)}
    r = requests.request(‘POST’, ‘http://python123.io/ws‘, files=fs)

  • timeout: 用於設定超時時間， 單位為秒，當發起一個get請求時可以設定一個timeout時間， 如果在timeout時間內請求內容沒有返回， 將產生一個timeout的異常。

  • proxies：字典， 用來設定訪問代理伺服器。

  • allow_redirects: 開關， 表示是否允許對url進行重定向， 預設為True。

  • stream: 開關， 指是否對獲取內容進行立即下載， 預設為True。

  • verify：開關， 用於認證SSL證書， 預設為True。

  • cert： 用於設定儲存本地SSL證書路徑

這句程式碼是構造一個伺服器請求request，返回一個包含伺服器資源的response物件。

其中response物件有以下屬性：

屬性 說明
r.status_code http請求的返回狀態，若為200則表示請求成功。
r.text http響應內容的字串形式，即返回的頁面內容
r.encoding 從http header 中猜測的相應內容編碼方式
r.apparent_encoding 從內容中分析出的響應內容編碼方式（備選編碼方式）
r.content http響應內容的二進位制形式

舉例說明：

>>> import requests
>>> r=requests.get("http://www.baidu.com")
>>> r.status_code
200
>>>  r.encoding
'ISO-8859-1'
>>> r.apparent_encoding
'utf-8'
>>> r.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8>ipt> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ\x9b´å¤\x9a产å\x93\x81</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a com/ class=cp-feedback>æ\x84\x8fè§\x81å\x8f\x8dé¦\x88</a>&nbsp;京ICPè¯\x81030173å\x8f·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
>>> r.encoding='utf-8'
>>> r.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta chref=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css="h讀</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意見反饋</a>&nbsp;京ICP證030173號&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    •

（以上r.text內容過長，自行刪除了部分，看出編碼效果即可）

requests庫的異常
注意requests庫有時會產生異常，比如網路連線錯誤、http錯誤異常、重定向異常、請求url超時異常等等。所以我們需要判斷r.status_codes是否是200，在這裡我們怎麼樣去捕捉異常呢？

這裡我們可以利用r.raise_for_status() 語句去捕捉異常，該語句在方法內部判斷r.status_code是否等於200，如果不等於，則丟擲異常。

於是在這裡我們有一個爬取網頁的通用程式碼框架：

try:
    r=requests.get(url,timeout=30)#請求超時時間為30秒
    r.raise_for_status()#如果狀態不是200，則引發異常
    r.encoding=r.apparent_encoding #配置編碼
    return r.text
except:
    return"產生異常" 
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    •

(2) request.head()

看程式碼：

 >>> r=requests.head("http://httpbin.org/get")
 >>>r.headers
 {'Connection': 'keep-alive', 'Server': 'meinheld/0.6.1', 'Date': 'Mon, 20 Nov 2017 08:08:46 GMT', 'Content-Type': 'application/json', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'X-Powered-By': 'Flask', 'X-Processed-Time': '0.000658988952637', 'Content-Length': '268', 'Via': '1.1 vegur'}
 >>>r.text
 ""
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    •

（4）requests.post()

1、向url post一個字典：

>>> payload={"key1":"value1","key2":"value2"}
>>> r=requests.post("http://httpbin.org/post",data=payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/post"
}
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    • 
   
  • 19
    • 
   
  • 20
    • 
   
  • 21
    • 
   
  • 22
    • 
   
  • 23
    • 
   
  • 24
    •

2、向url post 一個字串，自動編碼為data

>>>r=requests.post("http://httpbin.org/post",data='helloworld')
>>>print(r.text)
{
  "args": {}, 
  "data": "helloworld", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "10", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/post"
}
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    • 
   
  • 19
    •

（5）requests.put()

看程式碼：

>>> payload={"key1":"value1","key2":"value2"}
>>> r=requests.put("http://httpbin.org/put",data=payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/put"
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    • 
   
  • 19
    • 
   
  • 20
    • 
   
  • 21
    • 
   
  • 22
    • 
   
  • 23
    •

（6）requests.patch()

requests.patch和request.put類似。
兩者不同的是：
當我們用patch時僅需要提交需要修改的欄位。
而用put時，必須將20個欄位一起提交到url，未提交欄位將會被刪除。
patch的好處是：節省網路頻寬。

（7）requests.request()

requests.request(）支援其他所有的方法。
requests.request(method，url,**kwargs)

  • method: “GET”、”HEAD”、”POST”、”PUT”、”PATCH”等等
  • url: 請求的網址
  • **kwargs: 控制訪問的引數

三、requests模組的使用例項

1、京東商品資訊的爬取

不需要對頭部做任何修改，即可爬網頁

import requests
url='http://item.jd.com/2967929.html'
try:
    r=requests.get(url,timeout=30)
    r.raise_for_status()
    r.encoding=r.apparent_encoding 
    print(r.text[:1000]) #部分資訊
except:
    print("失敗"）
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    •

2、亞馬遜商品資訊的爬取

該網頁中對爬蟲進行的爬取做了限制，因此我們需要偽裝自己為瀏覽器發出的請求。

import requests
url='http://www.amazon.cn/gp/product/B01M8L5Z3Y'
try:
    kv={'user_agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)#改變自己的請求資料
    r.raise_for_status()
    r.encoding=r.apparent_encoding 
    print(r.text[1000:2000]) #部分資訊
except:
    print("失敗"）
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    •

3、百度搜索關鍵字提交

百度的關鍵字介面：
https://www.baidu.com/s?wd=keyword

import requests
keyword='python'
try:
    kv={'wd':keyword}
    r=requests.get('https://www.baidu.com/s',params=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding 
    print(len(r.text)) 
except:
    print("失敗"）
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    •

4、網路圖片的爬取

import requests
import os
try:
    url="http://baishi.baidu.com/watch/02167966440907275567.html"#圖片地址
    root="E:/pic/"
    path=root+url.split("/")[-1]
    if not os.path.exists(root): #目錄不存在建立目錄
        os.mkdir(root)
    if not os.path.exists(path): #檔案不存在則下載
        r=requests.get(url)
        f=open(path,"wb")
        f.write(r.content)
        f.close()
        print("檔案下載成功")
    else:
        print("檔案已經存在")
except:
    print("獲取失敗")
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    •

小結
本文介紹requests庫的基本應用，後面我會記錄怎麼從爬取的內容提取到我們需要的部分。

python3爬蟲（一）requests庫的學習

前段時間利用零散時間在mooc上跟著嵩天老師學習了python爬蟲的相關知識，於是想把自己的學習經歷寫下來，對爬蟲的相關知識做一個歸納總結，文中如果有錯誤或者是不嚴謹的地方，歡迎指出和交流。

下面我們開始介紹requests庫。

requests庫是一個常用的用於http請求的模組，它使用python語言編寫，可以方便的對網頁進行爬取，是學習python爬蟲的較好的http請求模組。

一、 requests模組的安裝

首先我們要繼續requests模組的安裝。

1、 pip命令安裝

  • 在windows系統下只需要在命令列輸入命令 pip install requests 即可安裝。

  • 在 linux 系統下，只需要輸入命令 sudo pip install requests ，即可安裝。

2、下載安裝包安裝

由於pip命令可能安裝失敗所以有時我們要通過下載第三方庫檔案來進行安裝。

在github上的地址為：https://github.com/requests/requests
下載檔案到本地之後，解壓到python安裝目錄。
之後開啟解壓檔案，在此處執行命令列並輸入：python setup.py install 即可。

之後我們測試requests模組是否安裝正確，在互動式環境中輸入 import requests 如果沒有任何報錯，說明requests模組我們已經安裝成功了

二、requests模組的使用方法

1、requests庫的七個主要方法

方法 解釋
requests.request() 構造一個請求，支援以下各種方法
requests.get() 獲取html的主要方法
requests.head() 獲取html頭部資訊的主要方法
requests.post() 向html網頁提交post請求的方法
requests.put() 向html網頁提交put請求的方法
requests.patch() 向html提交區域性修改的請求
requests.delete() 向html提交刪除請求

（1）requests.get()

這個方法是我們平時最常用的方法之一，通過這個方法我們可以瞭解到其他的方法，所以我們詳細介紹這個方法。
具體引數是：

r=requests.get(url,params,**kwargs)
  
    
   
  • 1
    •
  • url: 需要爬取的網站地址。
  • params: 翻譯過來就是引數， url中的額外引數，字典或者位元組流格式，可選。
  • **kwargs : 12個控制訪問的引數
    我們先來講講**kwargs:

**kwargs有以下的引數，對於requests.get,其第一個引數被提出來了。

  • params：字典或位元組序列， 作為引數增加到url中,使用這個引數可以把一些鍵值對以?key1=value1&key2=value2的模式增加到url中
    例如：kv = {‘key1: ’ values’, ‘key2’: ‘values’}
    r = requests.request(‘GET’, ‘http:www.python123.io/ws’, params=kw)
  • data：字典，位元組序或檔案物件，重點作為向伺服器提供或提交資源是提交，，作為request的內容，與params不同的是，data提交的資料並不放在url連結裡， 而是放在url連結對應位置的地方作為資料來儲存。，它也可以接受一個字串物件。

  • json：json格式的資料， json合適在相關的html，http相關的web開發中非常常見， 也是http最經常使用的資料格式， 他是作為內容部分可以向伺服器提交。
    例如：kv = {”key1’: ‘value1’}
    r = requests.request(‘POST’, ‘http://python123.io/ws‘, json=kv)

  • headers：字典是http的相關語，對應了向某個url訪問時所發起的http的頭i欄位， 可以用這個欄位來定義http的訪問的http頭，可以用來模擬任何我們想模擬的瀏覽器來對url發起訪問。
    例子： hd = {‘user-agent’: ‘Chrome/10’}
    r = requests.request(‘POST’, ‘http://python123.io/ws‘, headers=hd)

  • cookies：字典或CookieJar，指的是從http中解析cookie

  • auth：元組，用來支援http認證功能

  • files：字典， 是用來向伺服器傳輸檔案時使用的欄位。
    例子：fs = {‘files’: open(‘data.txt’, ‘rb’)}
    r = requests.request(‘POST’, ‘http://python123.io/ws‘, files=fs)

  • timeout: 用於設定超時時間， 單位為秒，當發起一個get請求時可以設定一個timeout時間， 如果在timeout時間內請求內容沒有返回， 將產生一個timeout的異常。

  • proxies：字典， 用來設定訪問代理伺服器。

  • allow_redirects: 開關， 表示是否允許對url進行重定向， 預設為True。

  • stream: 開關， 指是否對獲取內容進行立即下載， 預設為True。

  • verify：開關， 用於認證SSL證書， 預設為True。

  • cert： 用於設定儲存本地SSL證書路徑

這句程式碼是構造一個伺服器請求request，返回一個包含伺服器資源的response物件。

其中response物件有以下屬性：

屬性 說明
r.status_code http請求的返回狀態，若為200則表示請求成功。
r.text http響應內容的字串形式，即返回的頁面內容
r.encoding 從http header 中猜測的相應內容編碼方式
r.apparent_encoding 從內容中分析出的響應內容編碼方式（備選編碼方式）
r.content http響應內容的二進位制形式

舉例說明：

>>> import requests
>>> r=requests.get("http://www.baidu.com")
>>> r.status_code
200
>>>  r.encoding
'ISO-8859-1'
>>> r.apparent_encoding
'utf-8'
>>> r.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8>ipt> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ\x9b´å¤\x9a产å\x93\x81</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a com/ class=cp-feedback>æ\x84\x8fè§\x81å\x8f\x8dé¦\x88</a>&nbsp;京ICPè¯\x81030173å\x8f·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
>>> r.encoding='utf-8'
>>> r.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta chref=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css="h讀</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意見反饋</a>&nbsp;京ICP證030173號&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    •

（以上r.text內容過長，自行刪除了部分，看出編碼效果即可）

requests庫的異常
注意requests庫有時會產生異常，比如網路連線錯誤、http錯誤異常、重定向異常、請求url超時異常等等。所以我們需要判斷r.status_codes是否是200，在這裡我們怎麼樣去捕捉異常呢？

這裡我們可以利用r.raise_for_status() 語句去捕捉異常，該語句在方法內部判斷r.status_code是否等於200，如果不等於，則丟擲異常。

於是在這裡我們有一個爬取網頁的通用程式碼框架：

try:
    r=requests.get(url,timeout=30)#請求超時時間為30秒
    r.raise_for_status()#如果狀態不是200，則引發異常
    r.encoding=r.apparent_encoding #配置編碼
    return r.text
except:
    return"產生異常" 
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    •

(2) request.head()

看程式碼：

 >>> r=requests.head("http://httpbin.org/get")
 >>>r.headers
 {'Connection': 'keep-alive', 'Server': 'meinheld/0.6.1', 'Date': 'Mon, 20 Nov 2017 08:08:46 GMT', 'Content-Type': 'application/json', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'X-Powered-By': 'Flask', 'X-Processed-Time': '0.000658988952637', 'Content-Length': '268', 'Via': '1.1 vegur'}
 >>>r.text
 ""
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    •

（4）requests.post()

1、向url post一個字典：

>>> payload={"key1":"value1","key2":"value2"}
>>> r=requests.post("http://httpbin.org/post",data=payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/post"
}
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    • 
   
  • 19
    • 
   
  • 20
    • 
   
  • 21
    • 
   
  • 22
    • 
   
  • 23
    • 
   
  • 24
    •

2、向url post 一個字串，自動編碼為data

>>>r=requests.post("http://httpbin.org/post",data='helloworld')
>>>print(r.text)
{
  "args": {}, 
  "data": "helloworld", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "10", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/post"
}
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    • 
   
  • 19
    •

（5）requests.put()

看程式碼：

>>> payload={"key1":"value1","key2":"value2"}
>>> r=requests.put("http://httpbin.org/put",data=payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/put"
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    • 
   
  • 19
    • 
   
  • 20
    • 
   
  • 21
    • 
   
  • 22
    • 
   
  • 23
    •

（6）requests.patch()

requests.patch和request.put類似。
兩者不同的是：
當我們用patch時僅需要提交需要修改的欄位。
而用put時，必須將20個欄位一起提交到url，未提交欄位將會被刪除。
patch的好處是：節省網路頻寬。

（7）requests.request()

requests.request(）支援其他所有的方法。
requests.request(method，url,**kwargs)

  • method: “GET”、”HEAD”、”POST”、”PUT”、”PATCH”等等
  • url: 請求的網址
  • **kwargs: 控制訪問的引數

三、requests模組的使用例項

1、京東商品資訊的爬取

不需要對頭部做任何修改，即可爬網頁

import requests
url='http://item.jd.com/2967929.html'
try:
    r=requests.get(url,timeout=30)
    r.raise_for_status()
    r.encoding=r.apparent_encoding 
    print(r.text[:1000]) #部分資訊
except:
    print("失敗"）
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    •

2、亞馬遜商品資訊的爬取

該網頁中對爬蟲進行的爬取做了限制，因此我們需要偽裝自己為瀏覽器發出的請求。

import requests
url='http://www.amazon.cn/gp/product/B01M8L5Z3Y'
try:
    kv={'user_agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)#改變自己的請求資料
    r.raise_for_status()
    r.encoding=r.apparent_encoding 
    print(r.text[1000:2000]) #部分資訊
except:
    print("失敗"）
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    •

3、百度搜索關鍵字提交

百度的關鍵字介面：
https://www.baidu.com/s?wd=keyword

import requests
keyword='python'
try:
    kv={'wd':keyword}
    r=requests.get('https://www.baidu.com/s',params=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding 
    print(len(r.text)) 
except:
    print("失敗"）
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    •

4、網路圖片的爬取

import requests
import os
try:
    url="http://baishi.baidu.com/watch/02167966440907275567.html"#圖片地址
    root="E:/pic/"
    path=root+url.split("/")[-1]
    if not os.path.exists(root): #目錄不存在建立目錄
        os.mkdir(root)
    if not os.path.exists(path): #檔案不存在則下載
        r=requests.get(url)
        f=open(path,"wb")
        f.write(r.content)
        f.close()
        print("檔案下載成功")
    else:
        print("檔案已經存在")
except:
    print("獲取失敗")
  
    
   
  • 1
    • 
   
  • 2
    • 
   
  • 3
    • 
   
  • 4
    • 
   
  • 5
    • 
   
  • 6
    • 
   
  • 7
    • 
   
  • 8
    • 
   
  • 9
    • 
   
  • 10
    • 
   
  • 11
    • 
   
  • 12
    • 
   
  • 13
    • 
   
  • 14
    • 
   
  • 15
    • 
   
  • 16
    • 
   
  • 17
    • 
   
  • 18
    •

小結
本文介紹requests庫的基本應用，後面我會記錄怎麼從爬取的內容提取到我們需要的部分。

前段時間利用零散時間在mooc上跟著嵩天老師學習了python爬蟲的相關知識，於是想把自己的學習經歷寫下來，對爬蟲的相關知識做一個歸納總結，文中如果有錯誤或者是不嚴謹的地方，歡迎指出和交流。

python3爬蟲（一）requests庫的學習

相關推薦

python3爬蟲（一）requests庫學習

前段時間利用零散時間在mooc上跟著嵩天老師學習了python爬蟲的相關知識，於是想把自己的學習經歷寫下來，對爬蟲的相關知識做一個歸納總結，文中如果有錯誤或者是不嚴謹的地方，歡迎指出和交流。 下面我們開始介紹requests庫

Python從零開始寫爬蟲（一）requests庫使用

requests是一個強大的網路請求庫，簡單易用-讓 HTTP 服務人類。可以參考這個網站的介紹：http://cn.python-requests.org/zh_CN/latest/index.html 直接使用pip install requests安裝此模組之後，開始吧。

Python3爬蟲（四）請求庫的使用requests

with open decode python3 url -c highlight pos pen req Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、基本用法： 1. 安裝： pip install requests 2

python 爬蟲（一） requests+BeautifulSoup 爬取簡單網頁代碼示例

utf-8 bs4 rom 文章 都是 Coding man header 文本 以前搞偷偷摸摸的事，不對，是搞爬蟲都是用urllib，不過真的是很麻煩，下面就使用requests + BeautifulSoup 爬爬簡單的網頁。 詳細介紹都在代碼中註釋了，大家可以參閱。

自學Python爬蟲（二）Requests庫的使用

前言 Urllib和requests庫都是python3中傳送請求的庫，但是比較而言，Requests庫更加強大和易用，所以學習python3就不要學習urllib了，2020年python2的庫就不再更新，所以我們學習python3更有意義！ 例項引入 import requ

Python3爬蟲（一）抓取網頁的html

因為程式碼只有幾行，所以可以先貼程式碼： import urllib.request url = r'http://douban.com' res = urllib.request.urlopen(url) html = res.read().decode('utf-

python爬蟲（一）urllib庫基本使用

注，以下內容均為python3.5.*程式碼 學習爬蟲，首先有學會使用urllib庫，這個庫可以方便的使我們解析網頁的內容，本篇講一下它的主要用法 解析網頁 #!/usr/bin/env python3 # coding=utf-8 import u

python的requests類庫（一）requests庫和urllib包對比：一個簡單get請求

python中有多種庫可以用來處理http請求，比如python的原生庫：urllib包、requests類庫。urllib和urllib2是相互獨立的模組，python3.0以上把urllib和ur

Python3 爬蟲（一）-- 簡單網頁抓取

序 一直想好好學習一下Python爬蟲，之前斷斷續續的把Python基礎學了一下，悲劇的是學的沒有忘的快。只能再次拿出來濾了一遍，趁熱打鐵，借鑑眾多大神的爬蟲案例，加入Python網路爬蟲的學習大軍~~~  爬蟲之前  在著手寫爬蟲之前，要先把其需要的知識線路理清楚。

Python爬蟲學習筆記（一）——urllib庫的使用

scheme param https ade 網站 dmgr nor 分享圖片 out 前言 我買了崔慶才的《Python3網絡爬蟲開發實戰》，趁著短學期，準備系統地學習下網絡爬蟲。在學習這本書的同時，通過博客摘錄並總結知識點，同時也督促自己每日學習。本書第一章是開發環境的

Python爬蟲學習筆記（二）——requests庫的使用

pip 安裝 .text rep 瀏覽器 ror clas ade 學習筆記 準備工作 requests庫不是python自帶的庫，可以用pip安裝。在使用時導入requests即可。 基本用法 GET請求 r = requests.get(url) print(r.tex

Python3爬蟲（九） 數據存儲之關系型數據庫MySQL

如果 except ror 故障 cit -c sqlit 鏈接庫 port Infi-chu: http://www.cnblogs.com/Infi-chu/ 關系型數據庫關系型數據庫是基於關系模型的數據庫，而關系模型是通過二維表來保存的，所以關系型數據庫的存儲方式就

python手記（五）：requests寫爬蟲（一）：爬蟲簡介

上次將python的圖片處理庫簡單寫了下，也就基本處於玩的地步。哈哈，蠻嘲諷的，這次我嘗試著寫下爬蟲，有多深肯定是不敢保證的，畢竟能力有限。但是我會盡量去從原理上把爬蟲的東西說明白一些。讓大家有個直觀的認識，最後能自己寫出個簡單的定向小爬蟲，爬個小說，爬個圖片，爬首歌曲什麼的

（轉）Libcap庫學習：：（一）簡介

Libpcap是Packet Capture library的英文縮寫，即資料包捕獲函式庫，該庫提供的C函式介面用於捕獲經過指定網路介面(通過將網絡卡設定為混雜模式，可以捕獲所有經過該網路介面的資料包)的資料包。 Libpcap面向上層應用，提供了使用者級別的網路資料包捕獲介面，在系統部署時

RTSP客戶端學習（一）——live555庫的移植和驗證

因為專案原因需要在海思Hi3531平臺上實現RTSP客戶端，之前沒接觸過流媒體，作為小白，就記錄下學習過程吧。 客戶端和伺服器端均採用live555，之前嘗試過Darwin Stream Server作為伺服器，可以播放樣例視訊檔案，不能播放塞進去的H264檔案。是D

Python爬蟲小白入門（二）requests庫

轉自：https://www.cnblogs.com/Albert-Lee/p/6230337.html 一、前言 為什麼要先說Requests庫呢，因為這是個功能很強大的網路請求庫，可以實現跟瀏覽器一樣傳送各種HTTP請求來獲取網站的資料。網路上的模組、庫、包指的都

cmake學習（一）靜態庫與動態庫構建

因為預設規則是不能有相同名字的共享庫與靜態庫，所以當生成靜態庫的時候（so字尾），共享庫會被刪除，因為只能允許一個名字存在，相同名字的會被替代（hello），所以需要通過SET_TARGET_PROPERTIES()來解決這個問題，例子：

爬蟲（一）——用Requests模組獲取網頁資訊

呼叫requests庫裡面的get方法，獲取網頁的資訊，呼叫page.text獲取網頁原始碼，然後通過print打印出網頁原始碼 import requests page = requests.get(

Python爬蟲（一）：基本概念

popu 通用 字符 spider dai 自身 部分 螞蟻 people 網絡爬蟲的定義 網絡爬蟲（Web Spider。又被稱為網頁蜘蛛。網絡機器人，又稱為網頁追逐者），是一種依照一定的規則，自己主動的抓取萬維網信息的程序或者腳本。另外一些不常使用

分布式爬蟲（一）------------------分布式爬蟲概述

解決 構圖 .com 系統 使用 alt 分享 管理器 資源 分布式爬蟲概述 什麽是分布式爬蟲： 　　　　　多個爬蟲分布在不同的服務器上，通過狀態管理器進行統一調度，達到像URL去重等功能的爬蟲系統 　　 分布式爬蟲的優點 　　1） 充分利用多臺機器的寬帶加速