urllib and urllib2 區別

–博主提示：下面的是python2中的用法，python3需要做出相應修改。

urllib和urllib2模組都做與請求URL相關的操作，但他們提供不同的功能。 
urllib2.urlopen accepts an instance of the Request class or a url, （whereas urllib.urlopen only accepts a url 中文意思就是：urllib2.urlopen可以接受一個Request物件或者url，（在接受Request物件時候，並以此可以來設定一個URL的headers），urllib.urlopen只接收一個url 
urllib 有urlencode,urllib2沒有，這也是為什麼總是urllib，urllib2常會一起使用的原因

 r = Request(url='http://www.mysite.com')
 r.add_header('User-Agent', 'awesome fetcher')
 r.add_data(urllib.urlencode({'foo': 'bar'})
 response = urllib2.urlopen(r)     #post method

I. Requests 

使用的是 urllib3，繼承了urllib2的所有特性。Requests支援HTTP連線保持和連線池，支援使用cookie保持會話，支援檔案上傳，支援自動確定響應內容的編碼，支援國際化的 URL 和 POST 資料自動編碼。 II. 舉例：

 import requests
 ...

 resp = requests.get('http://www.mywebsite.com/user')
 userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
 resp = requests.post('http://www.mywebsite.com/user', params=userdata)
 resp = requests.put('http://www.mywebsite.com/user/put')
 resp = requests.delete('http://www.mywebsite.com/user/delete')
 resp.json()   # 假如返回的是json資料
 resp.text     #返回的不是text資料
 resp.headers['content-type']  #返回text/html;charset=utf-8
 f = open('request_index.html', 'w')
 f.write(page.encode('utf8'))          
 #test 發現requests抓下來的頁面必須要編碼\
 #寫入,（抓下來的是unicode），urllib和urllib2抓下來可以直接寫入，
 #因為這兩者抓下來的page是str
 

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17

III. 其他功能特性

國際化域名和 URLs
Keep-Alive & 連線池
持久的 Cookie 會話
類瀏覽器式的 SSL 加密認證 
基本/摘要式的身份認證
優雅的鍵/值 Cookies
自動解壓
Unicode 編碼的響應體
多段檔案上傳
連線超時
支援 .netrc
適用於 Python 2.6—3.4
執行緒安全

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

IV. requests不是python自帶的庫，需要另外安裝 easy_install or pip install

V. requests缺陷:直接使用不能非同步呼叫，速度慢（from others）。官方的urllib可以替代它。

VI. 個人不建議使用requests模組

urllib模組是python自帶的，直接呼叫就好，用法如下：

 1 #處理get請求，不傳data，則為get請求
 2 import urllib
 3 from urllib.request import urlopen
 4 from urllib.parse import urlencode
 5 url='http://127.0.0.1:1990/login'
 6 data={"username":"admin","password":123456}
 7 req_data=urlencode(data)#將字典型別的請求資料轉變為url編碼
 8 res=urlopen(url+'?'+req_data)#通過urlopen方法訪問拼接好的url
 9 res=res.read().decode()#read()方法是讀取返回資料內容，decode是轉換返回資料的bytes格式為str
10 print(res)
11 
12 #處理post請求,如果傳了data，則為post請求
13 import urllib
14 from urllib.request import urlopen
15 from urllib.request import Request
16 from urllib.parse import urlencode
17 url='http://127.0.0.1:1990/login'
18 data={"username":"admin","password":123456}
19 data=urlencode(data)#將字典型別的請求資料轉變為url編碼
20 data=data.encode('ascii')#將url編碼型別的請求資料轉變為bytes型別
21 req_data=Request(url,data)#將url和請求資料處理為一個Request物件，供urlopen呼叫
22 with urlopen(req_data) as res:
23     res=res.read().decode()#read()方法是讀取返回資料內容，decode是轉換返回資料的bytes格式為str
24 print(res)

相比較urllib模組，requests模組要簡單很多，具體用法如下：

 1 # get請求
 2 import requests
 3 url='http://127.0.0.1:1990/login'
 4 data={"username":"admin","password":123456}
 5 res=requests.get(url,data)#直接用requests.get(url,data)即可，其中.get表示為get方法，不需要對字典型別的data進行處理
 6 #res=res.text#text方法是獲取到響應為一個str，也不需要對res進行轉換等處理
 7 res=res.json()#當返回的資料是json串的時候直接用.json即可將res轉換成字典
 8 print(res)
 9 
10 #post請求
11 import requests
12 url='http://127.0.0.1:1990/login'
13 data={"username":"admin","password":123456}
14 res=requests.post(url,data)#直接用requests.post(url,data)即可，其中.post表示為post方法，不需要對字典型別的data進行處理
15 #res=res.text#text方法是獲取到響應為一個str，也不需要對res進行轉換等處理
16 res=res.json()#當返回的資料是json串的時候直接用.json即可將res轉換成字典
17 print(res)
18 
19 #當傳參格式要求為json串時
20 import requests
21 url='http://127.0.0.1:1990/login'
22 data={"username":"admin","password":123456}
23 res=requests.post(url,json=data)#只需要在這裡指定data為json即可
24 #res=res.text#text方法是獲取到響應為一個str，也不需要對res進行轉換等處理
25 res=res.json()#當返回的資料是json串的時候直接用.json即可將res轉換成字典
26 print(res)
27 
28 #傳參含cookie
29 import requests
30 url='http://127.0.0.1:1990/login'
31 data={"username":"admin","password":123456}
32 cookie={"sign":"123abc"}
33 res=requests.post(url,json=data,cookies=cookie)#只需要在這裡指定cookies位cookie即可，headers，files等類似
34 res=res.json()
35 print(res)