此文由我（54snapple）翻譯自http://www.voidspace.org.uk/python/articles/urllib2.shtml。原文標題：urllib2 - The Missing Manual -副標題：HOWTO Fetch Internet Resources with Python。英文版權歸文章原作者所有。轉載請保留以上資訊。

行文倉促，未作校正，請諒解指正。

-----------------------------------------------------------我是分割線-----------------------------------------------------

容錯： 如果你準備處理HTTP錯誤和URL錯誤這裡有兩種基本的方法，我更傾向於後一種： 1 from urllib2 import Request, urlopen, URLError, HTTPError req = Request(someurl) try:     response = urlopen(req) except HTTPError, e:     print 'The server couldn\'t fulfill the request.'     print 'Error code: ', e.code except URLError, e:     print 'We failed to reach a server.'     print 'Reason: ', e.reason else:     # everything is fine

注意HTTP錯誤異常必須在前面，否則URL錯誤也會捕獲一個HTTP錯誤。 2 from urllib2 import Request, urlopen, URLError req = Request(someurl) try:     response = urlopen(req) except URLError, e:     if hasattr(e, 'reason'):         print 'We failed to reach a server.'         print 'Reason: ', e.reason     elif hasattr(e, 'code'):         print 'The server couldn\'t fulfill the request.'         print 'Error code: ', e.code else:     # everything is fine 注意： URL錯誤是IO錯誤異常的一個子類。這意味著你能避免引入（import）URL錯誤而使用： from urllib2 import Request, urlopen req = Request(someurl) try:     response = urlopen(req) except IOError, e:     if hasattr(e, 'reason'):         print 'We failed to reach a server.'         print 'Reason: ', e.reason     elif hasattr(e, 'code'):         print 'The server couldn\'t fulfill the request.'         print 'Error code: ', e.code else:     # everything is fine 極少數環境下，urllib2能夠丟擲socket.error. INFO and GETURL urlopen返回的response（或者HTTP錯誤例項）有兩個有用的方法：info和geturl。 geturl--它返回被獲取網頁的真正的url。這是很有用的，因為urlopen（或使用的opener物件）也許會伴隨一個重定向。獲取的網頁url也許和要求的網頁url不一樣。 info--它返回一個像字典的物件來描述獲取的網頁，尤其是伺服器傳送的頭。它現在一般是httplib.HTTPMessage的一個例項。典型的頭包含'Content-length', 'Content-type', 等等。看一下Quick Reference to HTTP Headers中，HTTP頭列表，還有關於他們簡單的解釋和使用方法。 Openers 和Handlers 當你獲取一個URL時，你使用一個opener（一個可能以一個比較迷糊名字命名的例項--urllib2.OpenerDirector）。正常情況下我們一直使用預設的opener，通過urlopen，但你也可以建立自定義的openers。opener使用操作器（handlers）。所有的重活都交給這些handlers來做。每一個handler知道怎麼開啟url以一種獨特的url協議（http，ftp等等），或者怎麼處理開啟url的某些方面，如，HTTP重定向，或者HTTP cookie。 你將會建立openers如果你想要用安裝特別的handlers獲取url，例如，獲取一個處理cookie的opener，或者一個不處理重定向的opener。 列舉一個OpenerDirector，然後多次呼叫.add_handler(some_handler_instance)來建立一個opener。或者，你可以用build_opener，這是一個很方便的建立opener物件的函式，它只有一個函式呼叫。build_opener預設會加入許多 handlers，但是提供了一個快速的方法新增更多東西和/或使預設的handler失效。其他你想要的handlers能夠處理代理，authentication和其他平常但是又有些特殊的情況。 install_opener能被用於建立一個opener物件，（全域性）預設的opener。這意味著呼叫urlopen將會用到你剛安裝的opener。 opener物件有一個open方法，它可以被直接呼叫來獲取url以一種和urlopen函式同樣的方式：沒有必要呼叫install_opener，除非是為了方便。 Basic Authentication：（基本驗證） 為了解釋建立和安裝一個handler，我們將會使用 HTTPBasicAuthHandler。更多關於這個東西的內容和詳細討論---包括一個 Basic Authentication如何工作的解說--參見 Basic Authentication Tutorial. 當需要Authentication的時候，伺服器傳送一個頭（同時還有401程式碼）請求Authentication。它詳細指明瞭一個Authentication和一個域。這個頭看起來像： Www-authenticate: SCHEME realm="REALM". e.g. Www-authenticate: Basic realm="cPanel Users" 客戶端然後就會用包含在頭中的正確的帳戶和密碼重新請求這個域。這是“基本驗證”。為了簡化這個過程，我們可以建立一個 HTTPBasicAuthHandler和opener的例項來使用這個handler。 HTTPBasicAuthHandler用一個叫做密碼管理的物件來處理url和使用者名稱和密碼的域的對映。如果你知道域是什麼（從伺服器傳送的authentication 頭中），那你就可以使用一個HTTPPasswordMgr。多數情況下人們不在乎域是什麼。那樣使用HTTPPasswordMgrWithDefaultRealm就很方便。它允許你為一個url具體指定使用者名稱和密碼。這將會在你沒有為一個特殊的域提供一個可供選擇的密碼鎖時提供給你。我們通過提供None作為add_password方法域的引數指出這一點。最高級別的url是需要authentication的第一個url。比你傳遞給.add_password()的url更深的url同樣也會匹配。 # create a password manager password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm() # Add the username and password. # If we knew the realm, we could use it instead of ``None``. top_level_url = "http://example.com/foo/" password_mgr.add_password(None, top_level_url, username, password) handler = urllib2.HTTPBasicAuthHandler(password_mgr) # create "opener" (OpenerDirector instance) opener = urllib2.build_opener(handler) # use the opener to fetch a URL opener.open(a_url) # Install the opener. # Now all calls to urllib2.urlopen use our opener. urllib2.install_opener(opener) 注意在以上的示例中我們只給build_opener提供了HTTPBasicAuthHandler。預設opener有對普通情況的操作器（handlers）- ProxyHandler, UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor. 高級別url實際上是一個完整的url（包括http:協議元件和主機名可選的埠號），如“http://example.com”或者是一個授權（同樣，主機名，可選的埠號）如“"example.com" 或 "example.com:8080”（後一個示例包含了一個埠號）。授權，如果被呈現，一定不能包含使用者資訊-如“[email protected]:example.com” 是不正確的、 代理： urllib2將會自動檢測你的代理設定並使用它們。這是通過 ProxyHandler實現的，它是操作器鏈的一部分。正常情況下，這是個好東西，但是也有它不那麼有用的偶然情況。一個做這些的方法是安裝我們自己的ProxyHandler，不用任何定義任何代理。使用一個和建立Basic Authentication操作器相似的步驟可以實現： >>> proxy_support = urllib2.ProxyHandler({}) >>> opener = urllib2.build_opener(proxy_support) >>> urllib2.install_opener(opener) 注意：目前urllib2不支援通過代理獲取HTTPs位置。這是一個問題。 sockets和layers python支援獲取層疊的網頁的原始碼。urllib2使用httplib library，而httplib library反過來使用socket library。對於python2.3你可以指明一個socket應該在超時之前等待response多久。這在這些不得不獲取網頁的應用中很有用。預設socket模組沒有超時而且能夠掛起。目前，socket超時在urllib2或者httplib水平中不可見。然而，你可以全域性地為所有socket設定預設的超時。 import socket import urllib2 # timeout in seconds timeout = 10 socket.setdefaulttimeout(timeout) # this call to urllib2.urlopen now uses the default timeout # we have set in the socket module req = urllib2.Request('http://www.voidspace.org.uk') response = urllib2.urlopen(req)