Python-爬蟲03：urllib.request模組的使用
阿新 • • 發佈：2019-01-04
目錄
1. urllib.request的基本使用
所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中抓取出來。在Python中有很多庫可以用來抓取網頁，我們先學習urllib.request。
Python模組原始碼： C:\Users\haoch\Anaconda3\Lib
urllib.request原始碼:C:\Users\haoch\Anaconda3\Lib\urllib\request.py
1.1 urlopen
我們先來看原始碼
# data沒寫-> get請求，否則是Post請求 def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None): global _opener if cafile or capath or cadefault: import warnings warnings.warn("cafile, cpath and cadefault are deprecated, use a " "custom context instead.", DeprecationWarning, 2) if context is not None: raise ValueError( "You can't pass both context and any of cafile, capath, and " "cadefault" ) if not _have_ssl: raise ValueError('SSL support not available') # 知識點1： 做SSL認證 context = ssl.create_default_context(ssl.Purpose.SERVER_AUTH, cafile=cafile, capath=capath) # 知識點2： 通過HTTPS處理器建立處理器物件 https_handler = HTTPSHandler(context=context) # 知識點3： 將處理器物件包進去 opener = build_opener(https_handler) elif context: https_handler = HTTPSHandler(context=context) opener = build_opener(https_handler) elif _opener is None: _opener = opener = build_opener() else: opener = _opener # 知識點4： 自定義的open方法 return opener.open(url, data, timeout)
1.2. 用urlopen來獲取網路原始碼
# 匯入urllib2 庫
import urllib.request
# 向指定的url傳送請求，並返回伺服器響應的類檔案物件
response = urllib.request.urlopen("http://www.baidu.com/")
# 類檔案物件支援 檔案物件的操作方法，如read()方法讀取檔案全部內容，返回字串
html = response.read()
print(html)實際上，如果我們在瀏覽器上開啟百度主頁， 右鍵選擇“檢視原始碼”，你會發現，跟我們剛才打印出來的是一模一樣。也就是說，上面的4行程式碼就已經幫我們把百度的首頁的全部程式碼爬了下來。
1.3. urllib.request.Request的使用
如果需要執行更復雜的操作，比如增加HTTP報頭，必須建立一個 Request 例項來作為urlopen()的引數；而需要訪問的url地址則作為 Request 例項的引數。
import urllib.request
# url 作為Request()方法的引數，構造並返回一個Request物件
request = urllib.request.Request("http://www.baidu.com")
# Request物件作為urlopen()方法的引數，傳送給伺服器並接收響應
response = urllib.request.urlopen(request)
html = response.read()
print html不加user-agent-請求資訊
GET http://www.baidu.com/ HTTP/1.1
Accept-Encoding: identity
Host: www.baidu.com
User-Agent: Python-urllib/3.7
Connection: close2. User-Ageng的使用-模擬瀏覽器傳送請求
上面的例子中有一個最大缺點是不能給請求新增head，不能更改User-Agent的預設值，那麼urlopen中User-Agent的值是什麼呢，讓我們來看原始碼
class OpenerDirector:
def __init__(self):
# __version__ = '%d.%d' % sys.version_info[:2]--->sys.version[:3] = 3.7
client_version = "Python-urllib/%s" % __version__
# client_version = Python-urllib 3.7
self.addheaders = [('User-agent', client_version)]
# self.handlers is retained only for backward compatibility
self.handlers = []
# manage the individual handlers
self.handle_open = {}
self.handle_error = {}
self.process_response = {}
self.process_request = {}urllib2預設的 User-Agent:Python-urllib 3.7，被管理員看到後，容易被封IP，應該重構我們的User-Agent
2.1) 為什麼要用User-Agent?
我們用一個合法的身份去請求別人網站，顯然人家就是歡迎的，所以我們就應該給我們的這個程式碼加上一個身份，就是所謂的User-Agent頭。
- 瀏覽器 就是網際網路世界上公認被允許的身份，如果我們希望我們的爬蟲程式更像一個真實使用者，那我們第一步就是需要偽裝成一個被瀏覽器。用不同的瀏覽器在傳送請求的時候，會有不同的 User-Agent 報頭。
- urllib.request預設的User-Agent頭為：Python-urllib/x.y （x和y 是Python 主.次 版本號，例如 Python-urllib/3.7）
2.2) 如何新增User-Agent資訊到請求中去？
首先我們用抓包工具抓取請求，在其中獲取User-Agent的值
GET https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache
Upgrade-Insecure-Requests: 1
# User-Agent 最重要的東西，必須寫的東西
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36
# 獲取的資料型別
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
# 壓縮方式（一定不能寫的，麻煩）
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,en-CA;q=0.6
Cookie: BAIDUID=4F583A04A0193EBE0C9849C551B9305C:FG=1; BIDUPSID=4F583A04A0193EBE0C9849C551B9305C; PSTM=1545978093; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; __cfduid=d7aafabcd6ccc970c2d47e9e205fc3c851546334654; cflag=13%3A3; delPer=0; BD_HOME=0; H_PS_PSSID=1440_21082_28205_28132_27245_27509
x-hd-token: rent-your-own-vps我們只需要複製User-Agent的值即可，程式碼如下：
# IE 9.0 的 User-Agent，包含在 user_agent裡
ua_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}
# url 連同 headers，一起構造Request請求，這個請求將附帶 IE9.0 瀏覽器的User-Agent
request = urllib.request.Request("http://www.baidu.com", headers = ua_headers)
# 向伺服器傳送這個請求
response = urllib.request.urlopen(request)
html = response.read()
html加user-agent-請求資訊
GET http://www.baidu.com/ HTTP/1.1
Accept-Encoding: identity
Host: www.baidu.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36
Connection: close2.3) 新增更多的User-Ageng和Header的資訊
- 新增一個特定的header
import urllib2
url = "http://www.itcast.cn"
#IE 9.0 的 User-Agent
user_agent = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
request = urllib2.Request(url, headers = user_agent)
#也可以通過呼叫Request.add_header() 新增/修改一個特定的header
request.add_header("Connection", "keep-alive")
# 也可以通過呼叫Request.get_header()來檢視header資訊
# request.get_header(header_name="Connection")
response = urllib2.urlopen(request)
print response.code #可以檢視響應狀態碼
html = response.read()
print html- 隨機新增/修改User-Agent
import urllib2
import random
url = "http://www.itcast.cn"
ua_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6"
]
user_agent = random.choice(ua_list)
request = urllib2.Request(url)
#也可以通過呼叫Request.add_header() 新增/修改一個特定的header
request.add_header("User-Agent", user_agent)
# get_header()的字串引數，第一個字母大寫，後面的全部小寫
request.get_header("User-agent")
response = urllib2.urlopen(request)
html = response.read()
print html1.5. Response的其他用法
response.read() # 讀取爬取的內容
response.getcode() # 返回HTTP的響應碼， 200=OK
response.geturl() # 返回資料的是具體哪個URL， 防止重定向 'http://www.baidu.com'
response.info() # 返回伺服器響應的抱頭資訊