urllib 模塊 https://www.cnblogs.com/guishou/articles/7089496.html
1.基本方法
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
- url: 需要打開的網址
- data：Post提交的數據
- timeout：設置網站的訪問超時時間
直接用urllib.request模塊的urlopen（）獲取頁面，page的數據格式為bytes類型，需要decode（）解碼，轉換成str類型。
1 from urllib import request 2 response = request.urlopen(r‘http://python.org/‘) # <http.client.HTTPResponse object at 0x00000000048BC908> HTTPResponse類型 3 page = response.read() 4 page = page.decode(‘utf-8‘)
urlopen返回對象提供方法：
- read() , readline() ,readlines() , fileno() , close() ：對HTTPResponse類型數據進行操作
- info()：返回HTTPMessage對象，表示遠程服務器返回的頭信息
- getcode()：返回Http狀態碼。如果是http請求，200請求成功完成;404網址未找到
- geturl()：返回請求的url
2.使用Request
urllib.request.Request(url, data=None, headers={}, method=None
使用request（）來包裝請求，再通過urlopen（）獲取頁面。
1 url = r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘
2 headers = {
3 ‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ‘
4 r‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3‘,
5 ‘Referer‘: r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘,
6 ‘Connection‘: ‘keep-alive‘
7 }
8 req = request.Request(url, headers=headers)
9 page = request.urlopen(req).read()
10 page = page.decode(‘utf-8‘)
用來包裝頭部的數據：
- User-Agent ：這個頭部可以攜帶如下幾條信息：瀏覽器名和版本號、操作系統名和版本號、默認語言
- Referer：可以用來防止盜鏈，有一些網站圖片顯示來源http://***.com，就是檢查Referer來鑒定的
- Connection：表示連接狀態，記錄Session的狀態。
3.Post數據
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
urlopen（）的data參數默認為None，當data參數不為空的時候，urlopen（）提交方式為Post。
1 from urllib import request, parse
2 url = r‘http://www.lagou.com/jobs/positionAjax.json?‘
3 headers = {
4 ‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ‘
5 r‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3‘,
6 ‘Referer‘: r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘,
7 ‘Connection‘: ‘keep-alive‘
8 }
9 data = {
10 ‘first‘: ‘true‘,
11 ‘pn‘: 1,
12 ‘kd‘: ‘Python‘
13 }
14 data = parse.urlencode(data).encode(‘utf-8‘)
15 req = request.Request(url, headers=headers, data=data)
16 page = request.urlopen(req).read()
17 page = page.decode(‘utf-8‘)
urllib.parse.urlencode(query, doseq=False, safe=‘‘, encoding=None, errors=None)
urlencode（）主要作用就是將url附上要提交的數據。
1 data = {
2 ‘first‘: ‘true‘,
3 ‘pn‘: 1,
4 ‘kd‘: ‘Python‘
5 }
6 data = parse.urlencode(data).encode(‘utf-8‘)
經過urlencode（）轉換後的data數據為?first=true?pn=1?kd=Python，最後提交的url為
http://www.lagou.com/jobs/positionAjax.json?first=true?pn=1?kd=Python
Post的數據必須是bytes或者iterable of bytes，不能是str，因此需要進行encode（）編碼
1 page = request.urlopen(req, data=data).read()
當然，也可以把data的數據封裝在urlopen（）參數中
4.異常處理
1 def get_page(url):
2 headers = {
3 ‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ‘
4 r‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3‘,
5 ‘Referer‘: r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘,
6 ‘Connection‘: ‘keep-alive‘
7 }
8 data = {
9 ‘first‘: ‘true‘,
10 ‘pn‘: 1,
11 ‘kd‘: ‘Python‘
12 }
13 data = parse.urlencode(data).encode(‘utf-8‘)
14 req = request.Request(url, headers=headers)
15 try:
16 page = request.urlopen(req, data=data).read()
17 page = page.decode(‘utf-8‘)
18 except error.HTTPError as e:
19 print(e.code())
20 print(e.read().decode(‘utf-8‘))
21 return page
5、使用代理
urllib.request.ProxyHandler(proxies=None)
當需要抓取的網站設置了訪問限制，這時就需要用到代理來抓取數據。
1 data = {
2 ‘first‘: ‘true‘,
3 ‘pn‘: 1,
4 ‘kd‘: ‘Python‘
5 }
6 proxy = request.ProxyHandler({‘http‘: ‘5.22.195.215:80‘}) # 設置proxy
7 opener = request.build_opener(proxy) # 掛載opener
8 request.install_opener(opener) # 安裝opener
9 data = parse.urlencode(data).encode(‘utf-8‘)
10 page = opener.open(url, data).read()
11 page = page.decode(‘utf-8‘)
12 return page
1.URLError
首先解釋下URLError可能產生的原因：
- 網絡無連接，即本機無法上網
- 連接不到特定的服務器
- 服務器不存在
在代碼中，我們需要用try-except語句來包圍並捕獲相應的異常。下面是一個例子，先感受下它的風騷
| 1 2 3 4 5 6 7 | import urllib2 requset = urllib2.Request(‘http://www.xxxxx.com‘) try: urllib2.urlopen(request) except urllib2.URLError, e: print e.reason |
我們利用了 urlopen方法訪問了一個不存在的網址，運行結果如下：
| 1 | [Errno 11004] getaddrinfo failed |
它說明了錯誤代號是11004，錯誤原因是 getaddrinfo failed
2.HTTPError
HTTPError是URLError的子類，在你利用urlopen方法發出一個請求時，服務器上都會對應一個應答對象response，其中它包含一個數字”狀態碼”。舉個例子，假如response是一個”重定向”，需定位到別的地址獲取文檔，urllib2將對此進行處理。
其他不能處理的，urlopen會產生一個HTTPError，對應相應的狀態嗎，HTTP狀態碼表示HTTP協議所返回的響應的狀態。
1. URL解析模塊 urlparse
通過Python所帶的urlparse模塊，我們能夠輕松地把URL分解成元件，之後，還能將這些元件重新組裝成一個URL。當我們處理HTML 文檔的時候，這項功能是非常方便的。
1.1 urlparse.urlparse 函數
此函數會將一個url字符串分解為6個元素，以元祖的形式返回。有的元素可能為空，例：
- >>> from urlparse import urlparse
- >>> o = urlparse(‘http://www.cwi.nl:80/%7Eguido/Python.html‘)
- >>> o
- ParseResult(scheme=‘http‘, netloc=‘www.cwi.nl:80‘, path=‘/%7Eguido/Python.html‘,
- params=‘‘, query=‘‘, fragment=‘‘)
- >>> o.scheme
- ‘http‘
- >>> o.port
- 80
- >>> o.geturl()
- ‘http://www.cwi.nl:80/%7Eguido/Python.html‘
詳細的返回值信息：
| Attribute | Index | Value | Value if not present |
|---|---|---|---|
| scheme | 0 | URL scheme specifier | empty string |
| netloc | 1 | Network location part | empty string |
| path | 2 | Hierarchical path | empty string |
| params | 3 | Parameters for last path element | empty string |
| query | 4 | Query component | empty string |
| fragment | 5 | Fragment identifier | empty string |
| username | User name | None | |
| password | Password | None | |
| hostname | Host name (lower case) | None | |
| port | Port number as integer, if present | None |
需要註意的是，傳入的URL開頭必須要有雙斜杠//，否則會被認為是相對路徑
1.2 urlparse.urlunparse 函數
此函數作用是把urlparse()分解的元素再拼合還原為一個url，它接收元組(scheme, netloc, path, parameters, query, fragment)後，會重新組成一個具有正確格式的URL，以便供Python的其他HTML解析模塊使用。
1.3 urlparse.urlsplit 函數
類似urlparse 函數，不過它的返回列表裏面不高括params
1.4 urlparse.urlunsplit 函數
和urlparse.urlsplit 對應，合成URL
1.5 urlparse.urljoin 函數
作用是將一個url替換為另一個url，例：
- >>> from urlparse import urljoin
- >>> urljoin(‘http://www.cwi.nl/%7Eguido/Python.html‘, ‘FAQ.html‘)
- ‘http://www.cwi.nl/%7Eguido/FAQ.html‘
2. 獲取html頁面模塊urllib
Python所帶的urllib和urllib2這兩個模塊為我們提供了從URL打開並獲取數據的功能。
若要通過urllib模塊中的urlopen(url [,data])函數打開一個HTML文檔，必須提供該文檔的URL地址，包括文件名。函數urlopen不僅可以打開位於遠程web服務器上的文件，而 且可以打開一個本地文件，並返回一個類似文件的對象，我們可以通過該對象從HTML文檔中讀出數據。
一旦打開了HTML文檔，我們就可以像使用常規文件一樣使用read([nbytes])、readline()和readlines()函數來對文件進行讀操作。若要讀取整個HTML文檔的內容的話，您可以使用read()函數，該函數將文件內容作為字符串返回。
打開一個地址之後，您可以使用geturl()函數取得被獲取網頁的真正的URL。這是很有用的，因為urlopen(或使用的opener對象)也許會伴隨一個重定向。獲取的網頁URL也許和要求的網頁URL不一樣。
另一個常用的函數是位於從urlopen返回的類文件對象中的info()函數，這個函數可以返回URL位置有關的元數據，比如內容長度、內容類型，等等。
- import urllib2
- def get_html(url):
- html = urllib2.urlopen(url).read()
- return html
2.1 POST方式請求頁面
- import urllib2, urllib
- data = {‘name‘ : ‘www‘, ‘password‘ : ‘123456‘} # or [(‘name‘,‘www‘),(‘password‘,‘123456‘),(‘item‘,1),(‘item‘,2)] 重復字段
- f = urllib2.urlopen(
- url = ‘http://www.ideawu.net/‘,
- data = urllib.urlencode(data)
- )
- print f.read()
2.2 使用Cookie的情況
- import urllib2
- cookies = urllib2.HTTPCookieProcessor()
- opener = urllib2.build_opener(cookies)
- f = opener.open(‘http://www.ideawu.net/?act=login&name=user01‘)
- data = ‘Hello‘
- request = urllib2.Request(
- url = ‘http://www.ideawu.net/?act=send‘,
- headers = {‘Content-Type‘ : ‘text/xml‘},
- data = data)
- opener.open(request)
第一次 open() 是進行登錄. 服務器返回的 Cookie 被自動保存在 cookies 中, 被用在後來的請求.
第二次 open() 用 POST 方法向服務器發送了 Content-Type=text/xml 的數據. 如果你不創建一個 Request, 而是直接使用 urlopen() 方法, Python 強制把 Content-Type 改為 application/x-www-form-urlencoded.
urllib 模塊 https://www.cnblogs.com/guishou/articles/7089496.html