2. 程式人生 > >Python 爬蟲基礎Requests庫的使用（二十一）

Python 爬蟲基礎Requests庫的使用（二十一）

阿新 • • 發佈：2019-01-10

（一）人性化的Requests庫

在Python爬蟲開發中最為常用的庫就是使用Requests實現HTTP請求，因為Requests實現HTTP請求簡單、操作更為人性化。

（二）get請求的基本用法

  1. def get(url, params=None, **kwargs)

get()函式：

引數 說明
url 向伺服器傳送url請求
params 新增查詢引數
**kwargs(headers) 新增請求頭資訊

1.使用get()函式向伺服器傳送HTTP中的get請求

from requests import get
 


url="http://httpbin.org/get"

#1.向伺服器傳送get請求
response=get(url)

#2.使用response處理伺服器的響應內容
print(response.text)

2.向原URL後新增查詢資料

from requests import get

url="http://httpbin.org/get"

#1.資料以字典的形式
data={"project":"Python"}

#2.向伺服器傳送get請求
response=get(url,params=data)

#3.使用response處理伺服器的響應內容
print(response.text)

3.新增請求頭資訊

from requests import get

url="http://httpbin.org/get"

#1.資料以字典的形式
data={"project":"Python"}

#2.新增請求頭資訊
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) "
         "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}

#3.向伺服器傳送get請求
response=get(url,params=data,headers=headers)

#4.使用response處理伺服器的響應內容
 

print(response.text)

4.解析json(獲取json格式資料)

from requests import get 

url="http://httpbin.org/get"

response=get(url)
#1.列印響應訊息型別
print(type(response.text))

#2.解析json
print(response.json())
print(type(response.json()))

5.獲取網路上的二進位制資料(圖片、視訊、音訊等)

from requests import get 

url="https://img.alicdn.com/tps/i4/TB1eEBOXsyYBuNkSnfoSuwWgVXa.jpg_1080x1800Q60s50.jpg"

response=get(url)

print(type(response.text))
print(response.content)

#1.以IO流的形式把二進位制圖片資料儲存到本地D盤的某個目錄
with open("D:\\Picture\\6.jpg","wb")as f:
    f.write(response.content)
    f.close()
    print("成功寫入檔案")

（三）post請求的基本用法

def post(url, data=None, json=None, **kwargs)

post()函式

引數 說明
url 向伺服器傳送url請求
data 提交表單的資料
**kwargs(headers) 新增請求頭資訊

1.表單提交使用post請求，用於隱藏資料保證資料安全。

from requests import post

url="http://httpbin.org/post"

#1.提交表單的資料
form_data={"username":"root","password":"123"}

#2.將表單資料賦值給Params引數
reponse=post(url,data=form_data)

#3.列印伺服器響應內容
print(reponse.text)

2.新增響應頭資訊（模擬真實瀏覽器）

from requests import post

url="http://httpbin.org/post"

#1.提交表單的資料
form_data={"username":"root","password":"123"}

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}

#2.將表單資料賦值給Params引數
reponse=post(url,data=form_data,headers=headers)

#3.列印伺服器響應內容
print(reponse.text)

（四）response響應基本處理

屬性 說明
response.text 獲取響應文字
response.content 獲取網頁上的二進位制圖片、視訊
response.encoding 獲取網頁編碼
response.encoding=”utf-8” 設定網頁編碼
response.status_code 獲取響應狀態碼
response.headers 獲取響應頭資訊
response.cookies 獲取cookies資訊
response.url 獲取url資訊
response.history 獲取history資訊

1.使用reponse物件處理伺服器響應

from requests import get

url="http://www.jianshu.com"

response=get(url)

#1.列印響應狀態碼
print(type(response.status_code),response.status_code)

#2.列印響應頭資訊
print(type(response.headers),response.headers)

#3.列印cookies資訊
print(type(response.cookies),response.cookies)

#4.列印URL
print(type(response.url),response.url)

#5.列印history
print(type(response.history),response.history)

2.狀態碼的判斷


from requests import get

url="https://www.baidu.com/"

response=get(url)

#1.如果響應狀態碼是200，說明請求成功！
if response.status_code==200:
    print("成功請求響應！")
else:
    print("請求失敗！")

（五）提交檔案和影象操作

在網路上上傳檔案非常普遍，但是對於網路資料採集我們不怎麼使用。如果向為自己網站的寫一個檔案上傳功能，可以使用Python實現。

1.上傳圖片到某個網頁


from requests import post

#1.字典的鍵可以任意取名
files={"upload":open('D:\\Picture\\6.jpg',"rb")}

url="http://httpbin.org/post"

#2.將字典賦值個files引數
response=post(url,files=files)

print(response.content)

print(response.text)

（六）處理cookie

Cookie 是在 HTTP 協議下，伺服器或指令碼可以維護客戶工作站上資訊的一種方式。Cookie 是由 Web 伺服器儲存在使用者瀏覽器（客戶端）上的小文字檔案，它可以包含有關使用者的資訊。無論何時使用者連結到伺服器，Web 站點都可以訪問 Cookie 資訊，目前有些 Cookie 是臨時的，有些則是持續的。臨時的 Cookie 只在瀏覽器上儲存一段規定的時間，一旦超過規定的時間，該 Cookie 就會被系統清除。

持續的 Cookie 則儲存在使用者的 Cookie 檔案中，下一次使用者返回時，仍然可以對它進行呼叫。在 Cookie 檔案中儲存 Cookie，有些使用者擔心 Cookie 中的使用者資訊被一些別有用心的人竊取，而造成一定的損害。其實，網站以外的使用者無法跨過網站來獲得 Cookie 資訊。如果因為這種擔心而遮蔽 Cookie，肯定會因此拒絕訪問許多站點頁面。因為，當今有許多 Web 站點開發人員使用 Cookie 技術，例如 Session 物件的使用就離不開 Cookie 的支援。

1.列印瀏覽器中的cookie資訊

from requests import get

url="https://www.baidu.com/"

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64)"
         " AppleWebKit/537.36 (KHTML, like Gecko) "
         "Chrome/63.0.3239.132 Safari/537.36"}

response=get(url,headers=headers)

#1.遍歷出所有cookie欄位的值
for cookie in response.cookies.keys():
    print(cookie+":"+response.cookies.get(cookie))

2.如果想自定義Cookie值傳送出去，可以使用以下方式：

from requests import get

url="https://www.baidu.com"

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64)"
         " AppleWebKit/537.36 (KHTML, like Gecko) "
         "Chrome/63.0.3239.132 Safari/537.36"}

#1.攜帶cookie資訊
cookies=dict(username='root',password='123')

#2.將cookies打包傳送到伺服器
response=get(url,headers=headers,cookies=cookies)

#3.response處理cookie資訊
print(response.cookies)

3.自動處理Cookie

有時候我們不需要關心Cookie值是多少，只希望每次訪問網頁的時候，程式自動把Cookie值帶上，就向瀏覽器每次訪問伺服器網頁時自動帶有Cookie值。Requests庫提供一個session物件，在連續訪問網頁，處理登陸非常方便。

方式一：

from requests import post,Session

url="http://www.xxx.com/login"

#1.建立Session物件
session=Session()

#2.首次訪問登陸介面，作為遊客伺服器會先分配一個cookie
response=session.get(url,allow_redirects=True)

#3.使用字典儲存登陸資訊
datas={"username":"root","password":"123"}

#4.向登陸連結傳送post請求，驗證成功，遊客許可權轉變為會員許可權
response01=session.post(url,data=datas,allow_redirects=True)

print(response01.text)


----------
方式二：
from requests import get,post,Session

session=Session()

url="http://www.xxx.com/login"

datas={"username":"root","password":"123"}

response01=session.post(url,data=datas)

print("cookie設定為：")

print(session.cookies.get_dict())

print("------------------------")

print("登陸成功後，可以訪問會員許可權的任意網頁！")

#1.登陸過後，訪問網站的其他頁面
response02=session.get("http://www.xxx.com/page01")

4.例項演示

import requests

session= requests.session()
url = 'https://www.douban.com/'
#1.輸入賬號和密碼
postdata = {
    'username':'xxxxxx',
    'password':'xxxxxx'
}
headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36'}
response= session.post(url, data=postdata,headers=headers)
#2.將從網上爬取的資料儲存到本地，再開啟本地html檔案驗證爬取的網頁
#是否是目標網頁
with open('D:\\index.html', 'wb') as f:
    f.write(response.content)

url01 = 'https://movie.douban.com/'
response = session.get(url01, headers=headers)
with open('D:\\movie.html', 'wb') as f:
    f.write(response.content)

（七）重定向與歷史訊息

處理重定向只需要設定一下allow_redirects欄位即可，allow_redirects=True，則允許重定向，allow_redirects=False，則禁止重定向。通過response.history欄位檢視歷史資訊，即訪問成功之前的所有請求跳轉資訊。

1.將所HTTP請求全部重定向為HTTPS

from requests import get,post,Session

response=get("http://github.com")

print(response.url)

print(response.status_code)

print(response.history)

（八）請求超時設定

超時選項是通過get()和post()函式中timeout來進行設定。如果傳送的HTTP請求超時，則丟擲一個 Timeout 異常。

timeout設定的時間是以秒為單位

resquests.get("http://www.baidu.com/",timeout=1)

（九）代理設定

import requests

proxies={"http":"http://0.10.1.10:3128",

          "https":"https//10.10.1.10.1080"}

requests.get("http://example.org",proxies=proxies)

（十）錯誤與異常

  • 遇到網路問題（如：DNS 查詢失敗、拒絕連線等）時，Requests 會丟擲一個 ConnectionError 異常。

  • 如果 HTTP 請求返回了不成功的狀態碼， Response.raise_for_status() 會丟擲一個 HTTPError 異常。

    1. 若請求超時，則丟擲一個 Timeout 異常。
    2. 若請求超過了設定的最大重定向次數，則會丟擲一個 TooManyRedirects 異常。
    3. 所有Requests顯式丟擲的異常都繼承自 requests.exceptions.RequestException 。

    （十一）證書驗證

安全性較高的網站和公司網站都使用了證書驗證，比如www.12306.cn。

1.直接訪問www.12306.cn，報SSLError異常。


import requests

response=requests.get("https://www.12306.cn")

print(response.status_code)

異常資訊：

SSLError: HTTPSConnectionPool(host='www.12306.cn', port=443):
 Max retries exceeded with url: / (Caused by SSLError(SSLError
 , 'certificate verify failed')],)",),))

2.證書認證成功的操作方法

import requests

#1.匯入urllib3
from requests.packages import urllib3

#2.呼叫以下方法消除警告
urllib3.disable_warnings()

#3.將verify屬性設定為Fales
response=requests.get("https://www.12306.cn",verify=False)

print(response.status_code)

（十二）HTTP基本接入認證設定

在發明cookie前，處理網站登陸最常用的方法就是HTTP基本接入認證。意思就是需要輸入賬號和密碼才能登陸某個網址訪問其頁面。


import requests

from requests.auth import HTTPBasicAuth

url="http://pythonscraping.com/pages/auth/login.php"

#1.設定登陸賬號和密碼
auth=HTTPBasicAuth("Kaina","123")

#2.將HTTPBasicAuth物件作為auth引數傳遞到請求中
response=requests.post(url,auth=auth)

print(response.status_code)

#3.列印登陸跳轉成功頁面的HTML
print(response.text)

（十三）獲取Boss直聘網Python爬蟲職位資訊

如圖所示：
這裡寫圖片描述
1.程式碼演示

import requests
import pandas as pd
from lxml import etree
from urllib.error import HTTPError,URLError
def getHtml(url):
    #攜帶請求頭資訊，否則無法獲取資料
    headers={"User-Agent":"Mozilla/5.0"}
    try:
        response=requests.get(url,headers=headers)
    except(HTTPError, URLError) as e:
        return None
    return response.text
def parseHtml(html):
    tree=etree.HTML(html)
    positions=tree.xpath('//div[@class="job-title"]/text()')
    companies=tree.xpath('//div[@class="company-text"]/h3[@class="name"]/a/text()')
    salarys=tree.xpath('//div/div/h3/a/span/text()')
    releasetime=tree.xpath('//div[@class="info-publis"]/p/text()')
    return positions,companies,salarys,releasetime
def go():
    position=[]
    companies=[]
    releasetime=[]
    salarys=[]
    for i in range(8):
        url = "https://www.zhipin.com/c101280600/h_101280600/?query=python爬蟲工程師&page="+str(1+i)+"&ka=page-"+str(i+1)
        html = getHtml(url)
        if html !=None:
            p, c, s, r = parseHtml(html)
            position += p
            companies += c
            salarys += s
            releasetime += r
    dic = {"職位": position, "公司": companies,"薪水":salarys, "發表時間": releasetime}
    df = pd.DataFrame(dic)
    df.to_excel("Test.xlsx", index=False)

if __name__ == '__main__':
     go()
     print("資料寫入完畢!")

結果：
這裡寫圖片描述

相關推薦

java基礎學習總結（二十一）：自己寫一個java.lang.reflect.Proxy代理的實現

     動態代理裡面用到了一個類就是java.lang.reflect.Proxy，這個類是根據代理內容為傳入的介面生成代理用的。本文就自己寫一個Proxy類出來，功能和java.lang.reflect.Proxy一樣，傳入介面、代理內容，生成代理。  

Python 爬蟲基礎Requests庫的使用（二十一）

（一）人性化的Requests庫 在Python爬蟲開發中最為常用的庫就是使用Requests實現HTTP請求，因為Requests實現HTTP請求簡單、操作更為人性化。 （二）get請求的基本用法 def get(url, params=N

Python爬蟲從入門到放棄（二十一）之 Scrapy分布式部署

安裝 abc package .com 調度 fault 官方 python3 ocs 原文地址https://www.cnblogs.com/zhaof/p/7308865.html 按照上一篇文章中我們將代碼放到遠程主機是通過拷貝或者git的方式，但是如果考慮到我們又多

Python學習筆記（二十一）

準備 for ring 價格 python use imp pri exce 使用ElementTree解析XML文件 # 導入Python中內置的處理XML文件的模塊try: import xml.etree.cElementTree as ETexcept Imp

Python學習（二十一） —— 前端之JavaScript

開始 mode mba html 國際 sca 執行 嵌入式 規範 轉載自http://www.cnblogs.com/liwenzhou/p/8004649.html 一、JavaScript概述 　　1.JavaScript的歷史 1992年Nombas開發出C-mi

初探 C++ 標準庫（二十六）

C++ 標準庫 cout cin 操作符重載 今天我們來看下 C++ 中的標準庫，這幾天我們一直學習的是 C++ 中的一大難點，操作符重載。那麽我們想想操作符左移 << 可以重載嗎？操作符 << 的原生語義是按位左移，如：1 << 2，則

MySQL數據庫8（二十一）事務

進行 nod 隔離性 檢查 永久 sql數據庫 nbsp tran bubuko 事務安全 事務概念 l Transaction l 事務：一個最小的不可再分的工作單元；通常一個事務對應一個完整的業務(例如銀行賬戶轉賬業務，該業務就是一個最小的工作單元) l 一個完整

java基礎學習總結（二十五）：logback詳解

為什麼使用logback logback大約有以下的一些優點： 核心重寫、測試充分、初始化記憶體載入更小，這一切讓logback效能和log4j相比有諸多倍的提升 logback非常自然地直接實現了slf4j，這個嚴格來說算不上優點，只是這樣，再理解slf4j的前提下會很容易理解

java基礎學習總結（二十四）：slf4j作用及其實現原理

簡單回顧門面模式 slf4j是門面模式的典型應用，因此在講slf4j前，我們先簡單回顧一下門面模式， 門面模式，其核心為外部與一個子系統的通訊必須通過一個統一的外觀物件進行，使得子系統更易於使用。用一張圖來表示門面模式的結構為：   門面模式的核心為Facade即門面

原 Python3基礎之（二十 一）元組&列表

一、元組Tuple 元組叫做tuple，用小括號、或者無括號來表述，元組可以包含 數字、字串，列表，元組。 >>> tuple=(1,2,3,4) >>> print(tuple) (1, 2, 3, 4) >>> tuple

Python小白學習之路（二十一）—【迭代器】

迭代器 1.迭代器協議 物件必須提供一個 next 方法，執行該方法要麼返回迭代中的下一項，要麼就引起一個Stoplteration異常，以終止迭代（只能往後走不能往前退） 2.可迭代物件 實現了迭代器協議的物件（如何實現：物件內部定義一個_iter_()方法） 協議是一種約定，可迭代物件實現了

Python學習之旅（二十一）

Python基礎知識（20）：錯誤、除錯和測試 一、錯誤處理 在執行程式的過程中有可能會出錯，一般我們會在新增一段程式碼在可能出錯的地方，返回約定的值，就可以知道會不會出錯以及出錯的原因 1、使用try......except......finally......錯誤處理機制 try...可能會出異常

微信小遊戲-CocosCreator 基礎（二十一）

物體型別與碰撞矩陣 1: 新增物體型別: Add Layer, 每個型別對應一個名字group與groupIndex 2: 建立物體的時候要選擇一個型別; 3: 配置碰撞矩陣，決定哪些物體型別碰撞; 碰撞事件監聽 1: 剛體元件開啟碰撞監聽; 2: 當有碰撞發生的時候,遍歷剛

【零基礎】Python3學習課後練習題（二十一）

本文是跟著魚C論壇小甲魚零基礎學習Python3的視訊學習的，課後題也是跟隨每一課所附屬的題目來做的，根據自己的理解和標準答案記錄的筆記。 第二十三課與二十四課 測試題： 0.使用遞迴編寫一個十進位制轉換為二進位制的函式（要求採用“除2取餘”的方式，結果與呼叫b

python學習之網站的編寫（HTML，CSS，JS）（二十一）----------事件（例如點選事件等）及繫結事件的幾種方式

事件：什麼叫做事件呢，就是我們在頁面中的一些滑鼠和鍵盤操作，比如onclick就是點選事件，然後我們將介紹幾種繫結事件的方式。 1.在標籤中繫結 <div onclick="fuc()"></div> <script> fun

PPT基礎（二十一）消失的特殊字型

消失的特殊字型 當我們電腦上安裝了特殊字型並運用到PPT中，若將此PPT直接發給客戶（客戶電腦並未安裝此特殊字型），那麼客戶開啟的PPT中就不會顯示此字型，而是顯示宋體。 方法一：貼上成圖片 選中文字框（點選文字框） 滑鼠右鍵->剪下(T) 滑鼠右鍵->貼上選項中點選第二

Python3學習（二十一）：python操作MongoDB（增、刪、改、複雜查詢）

MongoDB是一個跨平臺的NoSQL，基於Key-Value形式儲存資料。其儲存格式非常類似於Python的字典，因此用Python操作MongoDB會非常的容易。 對Mongo簡單的操作程式碼如下： #encoding:utf=8 import pymongo

python 入門之 – 初識函式（二十四）

上面學完了 python 的基本資料型別和檔案操作之後，今天學了一個新的知識點，函式，那麼什麼是函式呢？ 先來看一個例子： a = 2 if a == 1: print('當前的 a 等於：' + str(a)) print('a 的值比 10 相差'+str(10-

python 入門之 – 字元編碼及相應處理方法（二十一）

字元編碼及操作方法 今天來了解了解關於字元編碼的一些知識，關於字元編碼，其實我們生活當中所有的智慧裝置都有字元編碼，並且每個國家都有自己的字元編碼，記錄著各個國家的文字資訊，例如早期的一些網站專案都是用中國的 gbk 編碼。 每個國家的計算機編碼只能識別自己國家的文字，如果非當前國家

Python Signal 訊號 （二十一）

常用訊號型別SIGINT 終止程序 中斷程序，不可通過signal.signal()捕捉(相當於Ctrl+C) SIGTERM 終止程序 軟體終止訊號，可通過signal