一、設定headers

1. url = "http://www.server.com/login"
2. # 設定請求的身份，如果沒有，伺服器可能會沒有響應
3. user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"
4. values = {"username": "geek", "password": "**********"}  
5. # 在headers中設定agent
6. headers = {"User-Agent": user_agent}  
7. data = urllib.urlencode(values)  
8. # 在request中新增headers
9. request = urllib2.Request(url, data, headers)  
10. response = urllib2.urlopen(request)  
11. page = response.read()  

1. # 對付“反盜鏈”(伺服器會識別headers中的referer是不是它自己,如果不是則不響應),構建以下headers
2. headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)",  
3.            "Referer": "http://www.zhihu.com/articles"
   }  

1. # headers的一些其他屬性：
2. # User-Agent : 有些伺服器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求
3. # Content-Type : 在使用 REST 介面時，伺服器會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。
4. # application/xml ： 在 XML RPC，如 RESTful/SOAP 呼叫時使用
5. # application/json ： 在 JSON RPC 呼叫時使用
6. # application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用
7. # 在使用伺服器提供的 RESTful 或 SOAP 服務時， Content-Type 設定錯誤會導致伺服器拒絕服務

1. # Proxy(代理)的設定
2. # urllib2 預設會使用環境變數 http_proxy 來設定 HTTP Proxy。
3. # 假如一個網站它會檢測某一段時間某個IP 的訪問次數，如果訪問次數過多，它會禁止你的訪問。
4. # 所以可以設定一些代理伺服器來幫助你做工作，每隔一段時間換一個代理
5. enable_proxy = True
6. proxy_handler = urllib2.ProxyHandler({"http": 'http://some-proxy.com:8080'})  
7. null_proxy_handler = urllib2.ProxyHandler({})  
8. if enable_proxy:  
9.     opener = urllib2.build_opener(proxy_handler)  
10. else:  
11.     opener = urllib2.build_opener(null_proxy_handler)  
12. urllib2.install_opener(opener)  

1. # Timeout設定
2. # 為了解決一些網站實在響應過慢而造成的影響
3. # 如果第二個引數data為空那麼要特別指定是timeout是多少，寫明形參，如果data已經傳入，則不必宣告
4. response = urllib2.urlopen('http://www.baidu.com', timeout=10)  
5. response = urllib2.urlopen('http://www.baidu.com', data, 10)  

1. # http協議有六種請求方法，get,head,put,delete,post,options，我們有時候需要用到PUT方式或者DELETE方式請求
2. # PUT：這個方法比較少見。HTML表單也不支援這個。
3. # 本質上來講， PUT和POST極為相似，都是向伺服器傳送資料，但它們之間有一個重要區別，PUT通常指定了資源的存放位置，而POST則沒有，POST的資料存放位置由伺服器自己決定。
4. # DELETE：刪除某一個資源。
5. request = urllib2.Request(url, data=data)  
6. request.get_method = lambda: 'PUT'# or 'DELETE'
7. response = urllib2.urlopen(request)  
8. # 可以通過下面的方法把 Debug Log 開啟，這樣收發包的內容就會在螢幕上打印出來，方便除錯
9. httpHandler = urllib2.HTTPHandler(debuglevel=1)  
10. httpsHandler = urllib2.HTTPSHandler(debuglevel=1)  
11. opener = urllib2.build_opener(httpHandler, httpsHandler)  
12. urllib2.install_opener(opener)  
13. response = urllib2.urlopen('http://www.baidu.com')