2. 程式人生 > >python爬蟲urllib庫詳解

python爬蟲urllib庫詳解

阿新 • • 發佈：2018-12-10

什麼是Urllib

Urllib是python內建的HTTP請求庫，中文文件如下：https://docs.python.org/3/library/urllib.html
包括以下模組
urllib.request 請求模組
urllib.error 異常處理模組
urllib.parse url解析模組
urllib.robotparser robots.txt解析模組

urlopen

關於urllib.request.urlopen引數的介紹：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url引數的使用

先寫一個簡單的例子：

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))

urlopen一般常用的有三個引數，它的引數如下：
urllib.requeset.urlopen(url,data,timeout)
response.read()可以獲取到網頁的內容，如果沒有read()，將返回如下內容

data引數的使用

上述的例子是通過請求百度的get請求獲得百度，下面使用urllib的post請求
這裡通過

http://httpbin.org/post網站演示（該網站可以作為練習使用urllib的一個站點使用，可以
模擬各種請求操作）。

複製程式碼 
import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
print(data)
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read())
複製程式碼

這裡就用到urllib.parse，通過bytes(urllib.parse.urlencode())可以將post資料進行轉換放到urllib.request.urlopen的data引數中。這樣就完成了一次post請求。
所以如果我們新增data引數的時候就是以post請求方式請求，如果沒有data引數就是get請求方式

timeout引數的使用
在某些網路情況不好或者伺服器端異常的情況會出現請求慢的情況，或者請求異常，所以這個時候我們需要給
請求設定一個超時時間，而不是讓程式一直在等待結果。例子如下：

import urllib.request

response = urllib.request.urlopen('http://httpbin.org/get', timeout=1)
print(response.read())

執行之後我們看到可以正常的返回結果，接著我們將timeout時間設定為0.1
執行程式會提示如下錯誤

所以我們需要對異常進行抓取，程式碼更改為

複製程式碼 
import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')
複製程式碼

響應

響應型別、狀態碼、響應頭

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(type(response))

可以看到結果為：<class 'http.client.httpresponse'="">
我們可以通過response.status、response.getheaders().response.getheader("server")，獲取狀態碼以及頭部資訊
response.read()獲得的是響應體的內容

當然上述的urlopen只能用於一些簡單的請求，因為它無法新增一些header資訊，如果後面寫爬蟲我們可以知道，很多情況下我們是需要新增頭部資訊去訪問目標站的，這個時候就用到了urllib.request

request

設定Headers
有很多網站為了防止程式爬蟲爬網站造成網站癱瘓，會需要攜帶一些headers頭部資訊才能訪問，最長見的有user-agent引數

寫一個簡單的例子：

import urllib.request

request = urllib.request.Request('https://python.org')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

給請求新增頭部資訊，從而定製自己請求網站是時的頭部資訊

複製程式碼 
from urllib import request, parse

url = 'http://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    'Host': 'httpbin.org'
}
dict = {
    'name': 'zhaofan'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))
複製程式碼

新增請求頭的第二種方式

複製程式碼 
from urllib import request, parse

url = 'http://httpbin.org/post'
dict = {
    'name': 'Germey'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, method='POST')
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = request.urlopen(req)
print(response.read().decode('utf-8'))
複製程式碼

這種新增方式有個好處是自己可以定義一個請求頭字典，然後迴圈進行新增

高階用法各種handler

代理,ProxyHandler

通過rulllib.request.ProxyHandler()可以設定代理,網站它會檢測某一段時間某個IP 的訪問次數，如果訪問次數過多，它會禁止你的訪問,所以這個時候需要通過設定代理來爬取資料

複製程式碼 
import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:9743',
    'https': 'https://127.0.0.1:9743'
})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('http://httpbin.org/get')
print(response.read())
複製程式碼

cookie,HTTPCookiProcessor

cookie中儲存中我們常見的登入資訊，有時候爬取網站需要攜帶cookie資訊訪問,這裡用到了http.cookijar，用於獲取cookie以及儲存cookie

複製程式碼 
import http.cookiejar, urllib.request
cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
for item in cookie:
    print(item.name+"="+item.value)
複製程式碼

同時cookie可以寫入到檔案中儲存，有兩種方式http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar()，當然你自己用哪種方式都可以

具體程式碼例子如下：
http.cookiejar.MozillaCookieJar()方式

複製程式碼 
import http.cookiejar, urllib.request
filename = "cookie.txt"
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)
複製程式碼

http.cookiejar.LWPCookieJar()方式

複製程式碼 
import http.cookiejar, urllib.request
filename = 'cookie.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)
複製程式碼

同樣的如果想要通過獲取檔案中的cookie獲取的話可以通過load方式，當然用哪種方式寫入的，就用哪種方式讀取。

複製程式碼 
import http.cookiejar, urllib.request
cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))
複製程式碼

異常處理

在很多時候我們通過程式訪問頁面的時候，有的頁面可能會出現錯誤，類似404，500等錯誤
這個時候就需要我們捕捉異常，下面先寫一個簡單的例子

複製程式碼 
from urllib import request,error

try:
    response = request.urlopen("http://pythonsite.com/1111.html")
except error.URLError as e:
    print(e.reason)
複製程式碼

上述程式碼訪問的是一個不存在的頁面，通過捕捉異常，我們可以列印異常錯誤

這裡我們需要知道的是在urllb異常這裡有兩個個異常錯誤：
URLError,HTTPError，HTTPError是URLError的子類

URLError裡只有一個屬性：reason,即抓異常的時候只能列印錯誤資訊，類似上面的例子

HTTPError裡有三個屬性：code,reason,headers，即抓異常的時候可以獲得code,reson，headers三個資訊，例子如下：

複製程式碼 
from urllib import request,error
try:
    response = request.urlopen("http://pythonsite.com/1111.html")
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)
except error.URLError as e:
    print(e.reason)

else:
    print("reqeust successfully")
複製程式碼

同時，e.reason其實也可以在做深入的判斷，例子如下：

複製程式碼 
import socket

from urllib import error,request

try:
    response = request.urlopen("http://www.pythonsite.com/",timeout=0.001)
except error.URLError as e:
    print(type(e.reason))
    if isinstance(e.reason,socket.timeout):
        print("time out")
複製程式碼

URL解析

urlparse
The URL parsing functions focus on splitting a URL string into its components, or on combining URL components into a URL string.

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

功能一：

from urllib.parse import urlparse

result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
print(result)

結果為：

這裡就是可以對你傳入的url地址進行拆分
同時我們是可以指定協議型別：
result = urlparse("www.baidu.com/index.html;user?id=5#comment",scheme="https")
這樣拆分的時候協議型別部分就會是你指定的部分，當然如果你的url裡面已經帶了協議，你再通過scheme指定的協議就不會生效

urlunpars

其實功能和urlparse的功能相反，它是用於拼接，例子如下：

from urllib.parse import urlunparse

data = ['http','www.baidu.com','index.html','user','a=123','commit']
print(urlunparse(data))

結果如下

urljoin

這個的功能其實是做拼接的，例子如下：

複製程式碼 
from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://pythonsite.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://pythonsite.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://pythonsite.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://pythonsite.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))
複製程式碼

結果為：

從拼接的結果我們可以看出，拼接的時候後面的優先順序高於前面的url

urlencode
這個方法可以將字典轉換為url引數，例子如下

複製程式碼 
from urllib.parse import urlencode

params = {
    "name":"zhaofan",
    "age":23,
}
base_url = "http://www.baidu.com?"

url = base_url+urlencode(params)
print(url)
複製程式碼

結果為：

部落格參考於：https://www.cnblogs.com/zhaof/p/6910871.html

 

相關推薦

python爬蟲urllib庫詳解

什麼是Urllib Urllib是python內建的HTTP請求庫，中文文件如下：https://docs.python.org/3/library/urllib.html包括以下模組urllib.request 請求模組urllib.error 異常處理模組urllib.parse url解析模組urll

python爬蟲pyquery庫詳解

PyQuery庫也是一個非常強大又靈活的網頁解析庫，如果你有前端開發經驗的，都應該接觸過jQuery,那麼PyQuery就是你非常絕佳的選擇，PyQuery 是 Python 仿照 jQuery 的嚴格實現。語法與 jQuery 幾乎完全相同，所以不用再去費心去記一些奇怪的方法了。 官網地址：http://

Python爬蟲系列-Urllib庫詳解

Urllib庫詳解 Python內建的Http請求庫: * urllib.request 請求模組 * urllib.error 異常處理模組 * urllib.parse url解析模組 * urllib.robotparser robots.txt解析模組 #### 相比在python2基礎上的變化

爬蟲（二）：Urllib庫詳解

lib lwp ces lin 設置 內置 col http測試 url 什麽是Urllib： python內置的HTTP請求庫 urllib.request : 請求模塊 urllib.error : 異常處理模塊 urllib.parse： url解析模塊 urllib

python3 2018分散式爬蟲教程 -3 urllib 庫詳解

1.urllib 庫 安裝命令： pip install urllib  urllib :Python內建的HTTP請求庫 # Python2 import urllib2 response = urllib2.urlopen('http://www.baidu.com')

Python3爬蟲學習筆記（1.urllib庫詳解）

1.什麼是爬蟲：略，到處都有講解。 雖然是入門，不過沒有Python基礎的同學看起來可能費勁，建議稍學下Python 之前學習前端知識也是為了能看懂HTML，便於爬蟲學習，建議瞭解下前端知識 2.re

urllib庫詳解

www. ID erro quest port 異常處理 http 基本 parse urllib庫是python內置的一個http請求庫 其實urllib庫不好用，沒有requests庫好用，下一篇文章再寫requests庫，requests庫是基於urllib庫實現的

python爬蟲 urllib庫基本使用

afa 識別 urllib spa response aid gen odin pos 以下內容均為python3.6.*代碼 學習爬蟲，首先有學會使用urllib庫，這個庫可以方便的使我們解析網頁的內容，本篇講一下它的基本用法 解析網頁 #導入urllib from u

python爬蟲urllib庫使用

urllib包括以下四個模組： 　　1.request:基本的HTTP請求模組，可以用來模擬傳送請求。就像在瀏覽器裡輸入網址然後回車一樣，只需要給庫方法傳入URL以及額外的引數，就可以模擬實現這個過程。 　　2.error：異常處理模組 　　3.parse：提供了許多URL處理方法，如拆分、解析、合併等

Python爬蟲系列-BeautifulSoup詳解

安裝 pip3 install beautifulsoup4 解析庫 解析器 使用方法 優勢 劣勢 Python標準庫 BeautifulSoup(markup,'html,parser') Python

Python爬蟲系列-PyQuery詳解

強大又靈活的網頁解析庫。如果你覺得正則寫起來太麻煩，如果你覺得BeautifulSoup語法太難記，如果你熟悉jQuery的語法，那麼PyQuery就是你的最佳選擇。 安裝 pip3 install pyquery 用法講解 字串初始化 html=''' <div> &

python爬蟲request模組詳解

requests模組 使用requests可以模擬瀏覽器的請求，比起之前用到的urllib，requests模組的api更加便捷（本質就是封裝了urllib3） 注意：requests庫傳送請求將網頁內容下載下來以後，並不會執行js程式碼，這需要我們自己分析目標站點然後發起新的request請求 官方文

python爬蟲scrapy專案詳解（關注、持續更新）

python爬蟲scrapy專案（一） 　　爬取目標：騰訊招聘網站（起始url：https://hr.tencent.com/position.php?keywords=&tid=0&start） 　　爬取內容：職位；職位型別；招聘人數；工作地點；釋出時間；招聘詳細連結；工作職責；工作要求

Python繪圖Turtle庫詳解

        Turtle庫是Python語言中一個很流行的繪製圖像的函式庫，想象一個小烏龜，在一個橫軸為x、縱軸為y的座標系原點，(0,0)位置開始，它根據一組函式指令的控制，在這個平面座標系中移動，從而在它爬行的路徑上繪製了圖形。 turtle繪圖的基礎知識： 1.

python爬蟲scrapy專案詳解（關注、持續更新）！

爬取目標：騰訊招聘網站（起始url：https://hr.tencent.com/position.php?keywords=&tid=0&start） 爬取內容：職位；職位型別；招聘人數；工作地點；釋出時間；招聘詳細連結；工作職責；工作要求 反反爬措施：設定隨機user-a

Python安裝MySQL庫詳解（解決Microsoft Visual C++ 9.0 is required ）

前面我們介紹的Python網路爬蟲通常將抓取的資料儲存至TXT或CSV檔案，而當資料量增加之時，就需要將其儲存至本地資料庫了。Python訪問資料庫需要對應的介面程式，我們可以把介面程式理解為Pytho

(二)python爬蟲urllib庫的基本使用及瞭解第一小節

urllib庫是python官方提供的一個http請求庫,在python3中的urllib庫其實是把python2裡的urllib庫和urllib2整合在一起的.我們這裡主要說的就是python3首先開發環境:系統: windows10開發語言: Python3IDE: py

python爬蟲學習筆記二：Requests庫詳解及HTTP協議

Requests庫的安裝：https://mp.csdn.net/postedit/83715574 r=requests.get(url,params=None,**kwargs) 這個r是Response物件 url ：擬獲取頁面的url連結 params：url中的額外引數

Python爬蟲系列-Requests庫詳解

Requests基於urllib，比urllib更加方便，可以節約我們大量的工作，完全滿足HTTP測試需求。 例項引入 import requests response = requests.get('https://www.baidu.com/') print(type(response))

python爬蟲之requests庫詳解（一，如何通過requests來獲得頁面資訊）

前言： 爬蟲的基礎是與網頁建立聯絡，而我們可以通過get和post兩種方式來建立連線，而我們可以通過引入urllib庫[在python3的環境下匯入的是urllib；而python2的環境下是urllib和urllib2]或者requests庫來實現,從程式的複雜度和可讀性