2. 程式人生 > >網路請求之urllib網路請求庫

網路請求之urllib網路請求庫

阿新 • • 發佈：2018-12-07

urllib庫是Python中一個最基本的網路請求庫。可以模擬瀏覽器的行為，向指定的伺服器傳送一個請求，並可以儲存伺服器返回的資料。

urlopen函式：

在Python3的urllib庫中，所有和網路請求相關的方法，都被集到urllib.request模組下面了，以先來看下urlopen函式基本的使用：

from urllib import request
resp = request.urlopen('http://www.baidu.com')
print(resp.read())

實際上，使用瀏覽器訪問百度，右鍵檢視原始碼。你會發現，跟我們剛才打印出來的資料是一模一樣的。也就是說，上面的三行程式碼就已經幫我們把百度的首頁的全部程式碼爬下來了。一個基本的url請求對應的python程式碼真的非常簡單。
以下對urlopen

函式的進行詳細講解：

  1. url：請求的url。
  2. data：請求的data，如果設定了這個值，那麼將變成post請求。
  3. 返回值：返回值是一個http.client.HTTPResponse物件，這個物件是一個類檔案控制代碼物件。有read(size)、readline、readlines以及getcode等方法。

urlretrieve函式：

這個函式可以方便的將網頁上的一個檔案儲存到本地。以下程式碼可以非常方便的將百度的首頁下載到本地：

from urllib import request
request.urlretrieve('http://www.baidu.com/'
 
,'baidu.html')

urlencode函式：

用瀏覽器傳送請求的時候，如果url中包含了中文或者其他特殊字元，那麼瀏覽器會自動的給我們進行編碼。而如果使用程式碼傳送請求，那麼就必須手動的進行編碼，這時候就應該使用urlencode函式來實現。urlencode可以把字典資料轉換為URL編碼的資料。示例程式碼如下：

from urllib import parse
data = {'name':'爬蟲基礎','greet':'hello world','age':100}
qs = parse.urlencode(data)
print(qs)

parse_qs函式：

可以將經過編碼後的url引數進行解碼。示例程式碼如下：

from urllib import parse
qs = "name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100"
print(parse.parse_qs(qs))

urlparse和urlsplit：

有時候拿到一個url，想要對這個url中的各個組成部分進行分割，那麼這時候就可以使用urlparse或者是urlsplit來進行分割。示例程式碼如下：

from urllib import request,parse
url = 'http://www.baidu.com/s?username=zhiliao'
result = parse.urlsplit(url)
# result = parse.urlparse(url)
print('scheme:',result.scheme)
print('netloc:',result.netloc)
print('path:',result.path)
print('query:',result.query)

urlparse和urlsplit基本上是一模一樣的。唯一不一樣的地方是，urlparse裡面多了一個params屬性，而urlsplit沒有這個params屬性。比如有一個url為：url = 'http://www.baidu.com/s;hello?wd=python&username=abc#1'，
那麼urlparse可以獲取到hello，而urlsplit不可以獲取到。url中的params也用得比較少。

request.Request類：

如果想要在請求的時候增加一些請求頭，那麼就必須使用request.Request類來實現。比如要增加一個User-Agent，示例程式碼如下：

from urllib import request
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request("http://www.baidu.com/",headers=headers)
resp = request.urlopen(req)
print(resp.read())

實戰爬取拉鉤網：

# 實戰拉鉤網
# url = 'https://www.lagou.com/jobs/list_python?px=default&city=%E5%85%A8%E5%9B%BD'
url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false'
resp = request.urlopen(url)
print(resp.read())
headers = {
    'Referer':'https://www.lagou.com/jobs/list_python?px=default&city=%E5%85%A8%E5%9B%BD',
    'User-Agent':'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36'
}
data = {
    'frist':'true',
    'pn':1,
    'kd':'python'
}
rep = request.Request(url,headers=headers,data=parse.urlencode(data).encode('utf-8'),method='POST')
resp = request.urlopen(rep)
print(resp.read().decode('utf-8'))

ProxyHandler處理器（代理設定）

很多網站會檢測某一段時間某個IP的訪問次數(通過流量統計，系統日誌等)，如果訪問次數多的不像正常人，它會禁止這個IP的訪問。
所以我們可以設定一些代理伺服器，每隔一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續爬取。
urllib中通過ProxyHandler來設定使用代理伺服器，下面程式碼說明如何使用自定義opener來使用代理：

from urllib import request

# 這個是沒有使用代理的
# resp = request.urlopen('http://httpbin.org/get')
# print(resp.read().decode("utf-8"))

# 這個是使用了代理的
handler = request.ProxyHandler({"http":"218.66.161.88:31769"})

opener = request.build_opener(handler)
req = request.Request("http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

常用的代理有：

什麼是cookie：

在網站中，http請求是無狀態的。也就是說即使第一次和伺服器連線後並且登入成功後，第二次請求伺服器依然不能知道當前請求是哪個使用者。cookie的出現就是為了解決這個問題，第一次登入後伺服器返回一些資料cookie給瀏覽器，然後瀏覽器儲存在本地，當該使用者傳送第二次請求的時候，就會自動的把上次請求儲存的cookie資料自動的攜帶給伺服器，伺服器通過瀏覽器攜帶的資料就能判斷當前使用者是哪個了。cookie儲存的資料量有限，不同的瀏覽器有不同的儲存大小，但一般不超過4KB。因此使用cookie只能儲存一些小量的資料。

cookie的格式：

Set-Cookie: NAME=VALUE；Expires/Max-age=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE

引數意義：

  • NAME：cookie的名字。
  • VALUE：cookie的值。
  • Expires：cookie的過期時間。
  • Path：cookie作用的路徑。
  • Domain：cookie作用的域名。
  • SECURE：是否只在https協議下起作用。

使用cookielib庫和HTTPCookieProcessor模擬登入：

Cookie 是指網站伺服器為了辨別使用者身份和進行Session跟蹤，而儲存在使用者瀏覽器上的文字檔案，Cookie可以保持登入資訊到使用者下次與伺服器的會話。
這裡以人人網為例。人人網中，要訪問某個人的主頁，必須先登入才能訪問，登入說白了就是要有cookie資訊。那麼如果我們想要用程式碼的方式訪問，就必須要有正確的cookie資訊才能訪問。解決方案有兩種，第一種是使用瀏覽器訪問，然後將cookie資訊複製下來，放到headers中。示例程式碼如下：

from urllib import request

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
    'Cookie': 'anonymid=jacdwz2x-8bjldx; depovince=GW; _r01_=1; _ga=GA1.2.1455063316.1511436360; _gid=GA1.2.862627163.1511436360; wp=1; JSESSIONID=abczwY8ecd4xz8RJcyP-v; jebecookies=d4497791-9d41-4269-9e2b-3858d4989785|||||; ick_login=884e75d4-f361-4cff-94bb-81fe6c42b220; _de=EA5778F44555C091303554EBBEB4676C696BF75400CE19CC; p=61a3c7d0d4b2d1e991095353f83fa2141; first_login_flag=1; [email protected]; ln_hurl=http://hdn.xnimg.cn/photos/hdn121/20170428/1700/main_nhiB_aebd0000854a1986.jpg; t=3dd84a3117737e819dd2c32f1cdb91d01; societyguester=3dd84a3117737e819dd2c32f1cdb91d01; id=443362311; xnsid=169efdc0; loginfrom=syshome; ch_id=10016; jebe_key=9c062f5a-4335-4a91-bf7a-970f8b86a64e%7Ca022c303305d1b2ab6b5089643e4b5de%7C1511449232839%7C1; wp_fold=0'
}

url = 'http://www.renren.com/880151247/profile'

req = request.Request(url,headers=headers)
resp = request.urlopen(req)
with open('renren.html','w') as fp:
    fp.write(resp.read().decode('utf-8'))

但是每次在訪問需要cookie的頁面都要從瀏覽器中複製cookie比較麻煩。在Python處理Cookie，一般是通過http.cookiejar模組和urllib模組的HTTPCookieProcessor處理器類一起使用。http.cookiejar模組主要作用是提供用於儲存cookie的物件。而HTTPCookieProcessor處理器主要作用是處理這些cookie物件，並構建handler物件。

http.cookiejar模組：

該模組主要的類有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。這四個類的作用分別如下：

  1. CookieJar：管理HTTP cookie值、儲存HTTP請求生成的cookie、向傳出的HTTP請求新增cookie的物件。整個cookie都儲存在記憶體中，對CookieJar例項進行垃圾回收後cookie也將丟失。
  2. FileCookieJar (filename,delayload=None,policy=None)：從CookieJar派生而來，用來建立FileCookieJar例項，檢索cookie資訊並將cookie儲存到檔案中。filename是儲存cookie的檔名。delayload為True時支援延遲訪問訪問檔案，即只有在需要時才讀取檔案或在檔案中儲存資料。
  3. MozillaCookieJar (filename,delayload=None,policy=None)：從FileCookieJar派生而來，建立與Mozilla瀏覽器 cookies.txt相容的FileCookieJar例項。
  4. LWPCookieJar (filename,delayload=None,policy=None)：從FileCookieJar派生而來，建立與libwww-perl標準的 Set-Cookie3 檔案格式相容的FileCookieJar例項。

實戰登入人人網：

利用http.cookiejar和request.HTTPCookieProcessor登入人人網。相關示例程式碼如下：

from urllib import request,parse
from http.cookiejar import CookieJar

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

def get_opener():
    cookiejar = CookieJar()
    handler = request.HTTPCookieProcessor(cookiejar)
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    data = {"email": "[email protected]", "password": "pythonspider"}
    data = parse.urlencode(data).encode('utf-8')
    login_url = "http://www.renren.com/PLogin.do"
    req = request.Request(login_url, headers=headers, data=data)
    opener.open(req)

def visit_profile(opener):
    url = 'http://www.renren.com/880151247/profile'
    req = request.Request(url,headers=headers)
    resp = opener.open(req)
    with open('renren.html','w') as fp:
        fp.write(resp.read().decode("utf-8"))

if __name__ == '__main__':
    opener = get_opener()
    login_renren(opener)
    visit_profile(opener)

儲存cookie到本地：

儲存cookie到本地，可以使用cookiejar的save方法，並且需要指定一個檔名：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar("cookie.txt")
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request('http://httpbin.org/cookies',headers=headers)

resp = opener.open(req)
print(resp.read())
cookiejar.save(ignore_discard=True,ignore_expires=True)

從本地載入cookie：

從本地載入cookie，需要使用cookiejar的load方法，並且也需要指定方法：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar("cookie.txt")
cookiejar.load(ignore_expires=True,ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request('http://httpbin.org/cookies',headers=headers)

resp = opener.open(req)
print(resp.read())

更多Python實戰原始碼請關注 朝南而行 公眾號

朝南而行

上一篇：什麼是http和https協議
下一篇：資料解析之XPath語法和lxml模組

相關推薦

網路請求之urllib網路請求庫

urllib庫是Python中一個最基本的網路請求庫。可以模擬瀏覽器的行為，向指定的伺服器傳送一個請求，並可以儲存伺服器返回的資料。 urlopen函式： 在Python3的urllib庫中，所有和網路請求相關的方法，都被集到urllib.request模組下面了，以先來看下ur

Android okHttp網路請求之Get/Post請求

   前言：       之前專案中一直使用的Xutils開源框架，從xutils 2.1.5版本使用到最近的xutils 3.0，使用起來也是蠻方便的，只不過最近想著完善一下app中使用的開源框架，由於Xutils裡面包含的東西相對來說比較雜，有資料庫、圖片快取、註解、網路請求等等，秉著一個開源庫只處理一

Python3 與 C# 網路程式設計之～ 網路基礎篇

最新版本檢視：https://www.cnblogs.com/dotnetcrazy/p/9919202.html 入門篇 官方文件：https://docs.python.org/3/library/ipc.html（程序間通訊和網路） 例項程式碼：https://github.com/lotapp/

無線通訊網路學習之LTE網路架構篇(20141208)

今天來學習一下LTE的網路架構： 1.LTE網路架構簡化了既有通訊網路架構，並可以與其他IP網路進行通訊的無縫整合，使其成為扁平化的全IP網路架構(Falt-All-IP); 2.改網路主要由EPC(核心網)與E-UTRAN組成，通過其他傳輸介質接入其他通訊網路，如下圖所示

網路虛擬化之FlowVisor—網路虛擬層（上）

概念解釋：切片：虛擬網路的一個例項 一. 網路虛擬化（虛擬網路） 人類社會的發展在很大方面得益於自然界，飛機受益於鳥，雷達受益於蝙蝠等等，所以專門有個學科為仿生學就是研究和模仿生物的特殊本質，利用生物的結構和功能原理來研製機械或各種新技術的科學技術。而人類社會已經發展

神經網路二之神經網路反向傳播原理與python程式設計實現

技術交流qq群： 659201069 誤差 　　樣本資料的真實值與神經網路的輸出值之間的差值稱為誤差，當然一般不會直接使用直接的差值，常用的有迴歸演算法的均方差、分類的交叉熵，這方面不影響我們來討論神經網路的反向傳播原理與過程，所以不做過多討論。

深度學習模型網路學習之分類網路學習

1. VGG 作者團隊，發表時間 University of Oxford， ICLR-2015 文章解決的問題 提高分類準確率 解決的方案 只使用3x3的卷

神經網路模型之CNN網路架構

CNN網路架構 神經網路架構發展縱覽 從1998年開始，近18年來深度神經網路的架構發展情況如下： 上圖，橫座標是操作的複雜度，縱座標是精度。 模型設計一開始的時候模型權重越

網路攻防之——常用網路掃描工具

netenum工具：一個很好用的IP段生成工具。可以用來檢視有哪些主機線上（這個工具的第二個功能的查詢結果不是特別準確，所以它的主要功能還是用來生成IP列表）。使用截圖如下 fping工具：常用格式：fping -g 123.58.180.0/24，用來進

Android網路請求之OkHttp框架

首先宣告許可權 <uses-permission android:name="android.permission.INTERNET"/> 在build.gradle中加入 compile 'com.squareup.okhttp:okhttp:2.4.0' compile

Volley網路框架之快取載入圖片、Post與get的資料請求

         前言:Volley作為主流網路框架之一，必然有它的優點。Volley可是說是把AsyncHttpClient和Universal-Image-Loader的優點集於了一身， 它的常用在資料量不大，但網路通訊頻繁，而且有圖片快取

教你寫Android網路框架之Request Response類與請求佇列

                我正在參加部落格之星，點選這裡投我一票吧，謝謝~   前言在教你寫Android網路框架之基本架構一文中我們已經介紹了SimpleNet網路框架的基本結構，今天我們就開始從程式碼的角度來開始切入該網路框架的實現，在剖析的同時我們會分析設計思路，以及為什麼要這樣做，這樣做的好處是

Android 網路請求之Xutils環境搭建

Xutils 在Android 開發中是一個比較老的網路請求框架,目前在市面上,仍然有一些老的專案在使用和維護. 本文給需要使用Xutils網路請求框架的朋友,提供一個快速搭建的程式碼參考: app的module build,gradle中 新增: compile 'org.xuti

Android HTTP協議請求網路(三)之HttpURLConnection方式

為了演示HttpURLConnection的常見用法，我做了一個App，介面如下所示：主介面MainActivity有四個按鈕，分別表示用GET傳送請求、用POST傳送鍵值對資料、用POST傳送XML資料以及用POST傳送JSON資料，點選對應的按鈕會啟動NetworkActivity並執行相應的操作。Net

網路程式設計之HTTP中GET與POST請求

1 參考自w3schools給出一個“標準答案” GET比POST更不安全，因為引數直接暴露在URL上，所以不能用來傳遞敏感資訊； GET引數通過URL傳遞，POST放在Request body中； GET請求在URL中傳送的引數是有長度限制的，而POST沒有；

Android HTTP協議請求網路(二)之HttpClient方式

1 package com.example.m04_http01; 2 3 import org.apache.http.HttpEntity; 4 import org.apache.http.HttpResponse; 5 import org.apache.http.client.HttpC

Android 網路開發（一） okHttp網路請求之快取控制Cache-Control

Cache-Control： Cache-Control指定請求和響應遵循的快取機制。在請求訊息或響應訊息中設定Cache-Control並不會修改另一個訊息處理過程中的快取處理過程。請求時的快取指令有下幾種： Public指示響應可被任何快取區快取。 Private指示對於單個

Android okHttp網路請求之快取控制Cache-Control

前言：    　前面的學習基本上已經可以完成開發需求了，但是在專案中有時會遇到對請求做個快取，當沒網路的時候優先載入本地快取，基於這個需求我們來學習一直okHttp的Cache-Control。      okHttp相關文章地址： Cache-Control：      Cache-Contro

Android okHttp網路請求之Retrofit+Okhttp+RxJava組合

前言：     通過上面的學習，我們不難發現單純使用okHttp來作為網路庫還是多多少少有那麼一點點不太方便，而且還需自己來管理介面，對於介面的使用的是哪種請求方式也不能一目瞭然，出於這個目的接下來學習一下Retrofit+Okhttp的搭配使用。      okHttp相關文章地址： Retrof

Android okHttp網路請求之檔案上傳下載

前言：    前面介紹了基於okHttp的get、post基本使用（http://www.cnblogs.com/whoislcj/p/5526431.html），今天來實現一下基於okHttp的檔案上傳、下載。      okHttp相關文章地址： 檔案上傳： 1.）不帶引數上傳檔案