pen .sh strong list blank 寫入 禁止 bsp open()

一些網站會有相應的反爬蟲措施,例如很多網站會檢測某一段時間某個IP的訪問次數,如果訪問頻率太快以至於看起來不像正常訪客,它可能就會會禁止這個IP的訪問。所以我們需要設置一些代理服務器,每隔一段時間換一個代理,就算IP被禁止,依然可以換個IP繼續爬取。

在Python中,可以使用urllib2中的ProxyHandler來設置使用代理服務器,下面通過代碼說明如何來使用代理:

import urllib2

# 構建了兩個代理Handler,一個有代理IP,一個沒有代理IP
httpproxy_handler = urllib2.ProxyHandler({"http" : "124.88.67.81:80"})
nullproxy_handler = urllib2.ProxyHandler({})
#定義一個代理開關
proxySwitch = True 
# 通過 urllib2.build_opener()方法使用這些代理Handler對象,創建自定義opener對象
# 根據代理開關是否打開,使用不同的代理模式
if proxySwitch:  
    opener = urllib2.build_opener(httpproxy_handler)
else:
    opener = urllib2.build_opener(nullproxy_handler)

request = urllib2.Request("http://www.baidu.com/")

# 使用opener.open()方法發送請求才使用自定義的代理,而urlopen()則不使用自定義代理。
response = opener.open(request)

# 就是將opener應用到全局,之後所有的,不管是opener.open()還是urlopen() 發送請求,都將使用自定義代理。
# urllib2.install_opener(opener)
# response = urlopen(request)

print response.read()

上面使用的是免費的開放代理,我們可以在一些代理網站上收集這些免費代理,測試後如果可以用,就把它收集起來用在爬蟲上面。

免費代理網站:

西刺免費代理

快代理免費代理

全國代理ip

如果你有足夠多的代理,可以放在一個列表中,隨機選擇一個代理去訪問網站。如下:

import urllib2
import random

proxy_list = [
    {"http" : "124.88.67.81:80"},
    {"http" : "124.88.67.81:80"},
    {"http" : "124.88.67.81:80"},
    {"http" : "124.88.67.81:80"},
    {"http" : "124.88.67.81:80"}
]

# 隨機選擇一個代理
proxy = random.choice(proxy_list)
# 使用選擇的代理構建代理處理器對象
httpproxy_handler = urllib2.ProxyHandler(proxy)

opener = urllib2.build_opener(httpproxy_handler)

request = urllib2.Request("http://www.baidu.com/")
response = opener.open(request)
print response.read()

上面使用的都是免費代理,不是很穩定,很多時候會出現無法使用的情況,這時候可以考慮使用私密代理。也就是向代理供應商購買代理,供應商會提供一個有效代理,並且有自己的用戶名和密碼,具體使用和免費代理一樣,這是多了一個賬戶認證,如下:

# 構建具有一個私密代理IP的Handler,其中user為賬戶,passwd為密碼
httpproxy_handler = urllib2.ProxyHandler({"http" : "user:[email protected]:80"})

上面就是使用urllib2設置代理的方法,不過看起來有些麻煩,下面我們看看如何使用reqursts來使用代理。

使用免費代理:

import requests

# 根據協議類型,選擇不同的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "http://12.34.56.79:9527",
}

response = requests.get("http://www.baidu.com", proxies = proxies)
print response.text

使用私密代理:

import requests

# 如果代理需要使用HTTP Basic Auth,可以使用下面這種格式:
proxy = { "http": "mr_mao_hacker:[email protected]:16816" }

response = requests.get("http://www.baidu.com", proxies = proxy)

print response.text

這樣看起來簡單不少。

註:可以將賬戶密碼寫入環境變量以免泄露

Python爬蟲實例(三)代理的使用