用python爬蟲抓站的一些技巧總結 zz
Python俱樂部
您的足跡: » 用python爬蟲抓站的一些技巧總結 zz
顯示原始檔
修訂記錄
最近更改
索引
登入

Python俱樂部
Python

PythonClub 首頁

Python 基礎

Python 常見檔案操作

Python 網路程式設計

Python 小技巧

Python 趣聞

Python 類
小課題

我的專案
關於本站

關於Python俱樂部

編輯器使用方法
連結

東華部落格

Go Calf
Python圖書



Python灰帽子：黑客與逆向工程師的Python程式設計之道（Immunity Inc的資深黑帽Justin Seitz傾力奉獻，黑客藝術與工程技術的優雅融合）
京東價：



Python核心程式設計（第2版）
京東價：


目錄
用python爬蟲抓站的一些技巧總結 zz
1.最基本的抓站
2.使用代理伺服器
3.需要登入的情況
3.1 cookie的處理
3.2 表單的處理
3.3 偽裝成瀏覽器訪問
3.4 反”反盜鏈”
3.5 終極絕招
4.多執行緒併發抓取
5.驗證碼的處理
6 gzip/deflate支援
7. 更方便地多執行緒
1、用twisted進行非同步I/O抓取
2、設計一個簡單的多執行緒抓取類
8. 一些瑣碎的經驗
1、連線池：
2、設定執行緒的棧大小
3、設定失敗後自動重試
4、設定超時
5、登陸
9. 總結
參考
用python爬蟲抓站的一些技巧總結 zz

學用python也有3個多月了，用得最多的還是各類爬蟲指令碼：寫過抓代理本機驗證的指令碼，寫過在discuz論壇中自動登入自動發貼的指令碼，寫過自動收郵件的指令碼，寫過簡單的驗證碼識別的指令碼，本來想寫google music的抓取指令碼的，結果有了強大的gmbox，也就不用寫了。

這些指令碼有一個共性，都是和web相關的，總要用到獲取連結的一些方法，再加上simplecd這個半爬蟲半網站的專案，累積不少爬蟲抓站的經驗，在此總結一下，那麼以後做東西也就不用重複勞動了。
1.最基本的抓站
import urllib2
content = urllib2.urlopen('http://XXXX').read()
2.使用代理伺服器

這在某些情況下比較有用，比如IP被封了，或者比如IP訪問的次數受到限制等等。
import urllib2
proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()
3.需要登入的情況

登入的情況比較麻煩我把問題拆分一下：
3.1 cookie的處理
import urllib2, cookielib
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

是的沒錯，如果想同時用代理和cookie，那就加入proxy_support然後operner改為
opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)
3.2 表單的處理

登入必要填表，表單怎麼填？首先利用工具擷取所要填表的內容。

比如我一般用firefox+httpfox外掛來看看自己到底傳送了些什麼包

這個我就舉個例子好了，以verycd為例，先找到自己發的POST請求，以及POST表單項：



可以看到verycd的話需要填username,password,continueURI,fk,login_submit這幾項，其中fk是隨機生成的（其實不太隨機，看上去像是把epoch時間經過簡單的編碼生成的），需要從網頁獲取，也就是說得先訪問一次網頁，用正則表示式等工具擷取返回資料中的fk項。continueURI顧名思義可以隨便寫，login_submit是固定的，這從原始碼可以看出。還有username，password那就很顯然了。

好的，有了要填寫的資料，我們就要生成postdata
import urllib
postdata=urllib.urlencode({
'username':'XXXXX',
'password':'XXXXX',
'continueURI':'http://www.verycd.com/',
'fk':fk,
'login_submit':'登入'
})

然後生成http請求，再發送請求：
req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata
)
result = urllib2.urlopen(req).read()
3.3 偽裝成瀏覽器訪問

某些網站反感爬蟲的到訪，於是對爬蟲一律拒絕請求。這時候我們需要偽裝成瀏覽器，這可以通過修改http包中的header來實現：
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata,
headers = headers
)
3.4 反”反盜鏈”

某些站點有所謂的反盜鏈設定，其實說穿了很簡單，就是檢查你傳送請求的header裡面，referer站點是不是他自己，所以我們只需要像3.3一樣，把headers的referer改成該網站即可，以黑幕著稱地cnbeta為例：
headers = {
'Referer':'http://www.cnbeta.com/articles'
}

headers是一個dict資料結構，你可以放入任何想要的header，來做一些偽裝。例如，有些自作聰明的網站總喜歡窺人隱私，別人通過代理訪問，他偏偏要讀取header中的X-Forwarded-For來看看人家的真實IP，沒話說，那就直接把X-Forwarde-For改了吧，可以改成隨便什麼好玩的東東來欺負欺負他，呵呵。
3.5 終極絕招

有時候即使做了3.1-3.4，訪問還是會被據，那麼沒辦法，老老實實把httpfox中看到的headers全都寫上，那一般也就行了。 再不行，那就只能用終極絕招了，selenium直接控制瀏覽器來進行訪問，只要瀏覽器可以做到的，那麼它也可以做到。類似的還有pamie，watir，等等等等。
4.多執行緒併發抓取

單執行緒太慢的話，就需要多執行緒了，這裡給個簡單的執行緒池模板 這個程式只是簡單地列印了1-10，但是可以看出是併發地。
from threading import Thread
from Queue import Queue
from time import sleep
#q是任務佇列
#NUM是併發執行緒總數
#JOBS是有多少任務
q = Queue()
NUM = 2
JOBS = 10
#具體的處理函式，負責處理單個任務
def do_somthing_using(arguments):
print arguments
#這個是工作程序，負責不斷從佇列取資料並處理
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
sleep(1)
q.task_done()
#fork NUM個執行緒等待佇列
for i in range(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
#把JOBS排入佇列
for i in range(JOBS):
q.put(i)
#等待所有JOBS完成
q.join()
5.驗證碼的處理

碰到驗證碼咋辦？這裡分兩種情況處理：

google那種驗證碼，涼拌

簡單的驗證碼：字元個數有限，只使用了簡單的平移或旋轉加噪音而沒有扭曲的，這種還是有可能可以處理的，一般思路是旋轉的轉回來，噪音去掉，然後劃分單個字元，劃分好了以後再通過特徵提取的方法(例如PCA)降維並生成特徵庫，然後把驗證碼和特徵庫進行比較。這個比較複雜，一篇博文是說不完的，這裡就不展開了，具體做法請弄本相關教科書好好研究一下。

事實上有些驗證碼還是很弱的，這裡就不點名了，反正我通過2的方法提取過準確度非常高的驗證碼，所以2事實上是可行的。
6 gzip/deflate支援

現在的網頁普遍支援gzip壓縮，這往往可以解決大量傳輸時間，以VeryCD的主頁為例，未壓縮版本247K，壓縮了以後45K，為原來的1/5。這就意味著抓取速度會快5倍。

然而python的urllib/urllib2預設都不支援壓縮，要返回壓縮格式，必須在request的header裡面寫明’accept-encoding’，然後讀取response後更要檢查header檢視是否有’content-encoding’一項來判斷是否需要解碼，很繁瑣瑣碎。如何讓urllib2自動支援gzip, defalte呢？

其實可以繼承BaseHanlder類，然後build_opener的方式來處理：
import urllib2
from gzip import GzipFile
from StringIO import StringIO
class ContentEncodingProcessor(urllib2.BaseHandler):
"""A handler to add gzip capabilities to urllib2 requests """

# add headers to requests
def http_request(self, req):
req.add_header("Accept-Encoding", "gzip, deflate")
return req

# decode
def http_response(self, req, resp):
old_resp = resp
# gzip
if resp.headers.get("content-encoding") == "gzip":
gz = GzipFile(
fileobj=StringIO(resp.read()),
mode="r"
)
resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)
resp.msg = old_resp.msg
# deflate
if resp.headers.get("content-encoding") == "deflate":
gz = StringIO( deflate(resp.read()) )
resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code) # 'class to add info() and
resp.msg = old_resp.msg
return resp

# deflate support
import zlib
def deflate(data): # zlib only provides the zlib compress format, not the deflate format;
try: # so on top of all there's this workaround:
return zlib.decompress(data, -zlib.MAX_WBITS)
except zlib.error:
return zlib.decompress(data)

然後就簡單了，
encoding_support = ContentEncodingProcessor
opener = urllib2.build_opener( encoding_support, urllib2.HTTPHandler )

#直接用opener開啟網頁，如果伺服器支援gzip/defalte則自動解壓縮
content = opener.open(url).read()
7. 更方便地多執行緒

總結一文的確提及了一個簡單的多執行緒模板，但是那個東東真正應用到程式裡面去只會讓程式變得支離破碎，不堪入目。在怎麼更方便地進行多執行緒方面我也動了一番腦筋。先想想怎麼進行多執行緒呼叫最方便呢？
1、用twisted進行非同步I/O抓取

事實上更高效的抓取並非一定要用多執行緒，也可以使用非同步I/O法：直接用twisted的getPage方法，然後分別加上非同步I/O結束時的callback和errback方法即可。例如可以這麼幹：
from twisted.web.client import getPage
from twisted.internet import reactor

links = [ 'http://www.verycd.com/topics/%d/'%i for i in range(5420,5430) ]

def parse_page(data,url):
print len(data),url

def fetch_error(error,url):
print error.getErrorMessage(),url

# 批量抓取連結
for url in links:
getPage(url,timeout=5) \
.addCallback(parse_page,url) \ #成功則呼叫parse_page方法
.addErrback(fetch_error,url) #失敗則呼叫fetch_error方法

reactor.callLater(5, reactor.stop) #5秒鐘後通知reactor結束程式
reactor.run()

twisted人如其名，寫的程式碼實在是太扭曲了，非正常人所能接受，雖然這個簡單的例子看上去還好；每次寫twisted的程式整個人都扭曲了，累得不得了，文件等於沒有，必須得看原始碼才知道怎麼整，唉不提了。

如果要支援gzip/deflate，甚至做一些登陸的擴充套件，就得為twisted寫個新的HTTPClientFactory類諸如此類，我這眉頭真是大皺，遂放棄。有毅力者請自行嘗試。

這篇講怎麼用twisted來進行批量網址處理的文章不錯，由淺入深，深入淺出，可以一看。
2、設計一個簡單的多執行緒抓取類

還是覺得在urllib之類python“本土”的東東里面折騰起來更舒服。試想一下，如果有個Fetcher類，你可以這麼呼叫
f = Fetcher(threads=10) #設定下載執行緒數為10
for url in urls:
f.push(url) #把所有url推入下載佇列
while f.taskleft(): #若還有未完成下載的執行緒
content = f.pop() #從下載完成佇列中取出結果
do_with(content) # 處理content內容

這麼個多執行緒呼叫簡單明瞭，那麼就這麼設計吧，首先要有兩個佇列，用Queue搞定，多執行緒的基本架構也和“技巧總結”一文類似，push方法和pop方法都比較好處理，都是直接用Queue的方法，taskleft則是如果有“正在執行的任務”或者”佇列中的任務”則為是，也好辦，於是程式碼如下：
import urllib2
from threading import Thread,Lock
from Queue import Queue
import time

class Fetcher:
def __init__(self,threads):
self.opener = urllib2.build_opener(urllib2.HTTPHandler)
self.lock = Lock() #執行緒鎖
self.q_req = Queue() #任務佇列
self.q_ans = Queue() #完成佇列
self.threads = threads
for i in range(threads):
t = Thread(target=self.threadget)
t.setDaemon(True)
t.start()
self.running = 0

def __del__(self): #解構時需等待兩個佇列完成
time.sleep(0.5)
self.q_req.join()
self.q_ans.join()

def taskleft(self):
return self.q_req.qsize()+self.q_ans.qsize()+self.running

def push(self,req):
self.q_req.put(req)

def pop(self):
return self.q_ans.get()

def threadget(self):
while True:
req = self.q_req.get()
with self.lock: #要保證該操作的原子性，進入critical area
self.running += 1
try:
ans = self.opener.open(req).read()
except Exception, what:
ans = ''
print what
self.q_ans.put((req,ans))
with self.lock:
self.running -= 1
self.q_req.task_done()
time.sleep(0.1) # don't spam

if __name__ == "__main__":
links = [ 'http://www.verycd.com/topics/%d/'%i for i in range(5420,5430) ]
f = Fetcher(threads=10)
for url in links:
f.push(url)
while f.taskleft():
url,content = f.pop()
print url,len(content)
8. 一些瑣碎的經驗
1、連線池：

opener.open和urllib2.urlopen一樣，都會新建一個http請求。通常情況下這不是什麼問題，因為線性環境下，一秒鐘可能也就新生成一個請求；然而在多執行緒環境下，每秒鐘可以是幾十上百個請求，這麼幹只要幾分鐘，正常的有理智的伺服器一定會封禁你的。

然而在正常的html請求時，保持同時和伺服器幾十個連線又是很正常的一件事，所以完全可以手動維護一個HttpConnection的池，然後每次抓取時從連線池裡面選連線進行連線即可。

這裡有一個取巧的方法，就是利用squid做代理伺服器來進行抓取，則squid會自動為你維護連線池，還附帶資料快取功能，而且squid本來就是我每個伺服器上面必裝的東東，何必再自找麻煩寫連線池呢。
2、設定執行緒的棧大小

棧大小的設定將非常顯著地影響python的記憶體佔用，python多執行緒不設定這個值會導致程式佔用大量記憶體，這對openvz的vps來說非常致命。stack_size必須大於32768，實際上應該總要32768*2以上
from threading import stack_size
stack_size(32768*16)
3、設定失敗後自動重試
def get(self,req,retries=3):
try:
response = self.opener.open(req)
data = response.read()
except Exception , what:
print what,req
if retries>0:
return self.get(req,retries-1)
else:
print 'GET Failed',req
return ''
return data
4、設定超時
import socket
socket.setdefaulttimeout(10) #設定10秒後連線超時
5、登陸

登陸更加簡化了，首先build_opener中要加入cookie支援，參考“總結”一文；如要登陸VeryCD，給Fetcher新增一個空方法login，並在init()中呼叫，然後繼承Fetcher類並override login方法：
def login(self,username,password):
import urllib
data=urllib.urlencode({'username':username,
'password':password,
'continue':'http://www.verycd.com/',
'login_submit':u'登入'.encode('utf-8'),
'save_cookie':1,})
url = 'http://www.verycd.com/signin'
self.opener.open(url,data).read()

於是在Fetcher初始化時便會自動登入VeryCD網站。
9. 總結

如此，把上述所有小技巧都糅合起來就和我目前的私藏最終版的Fetcher類相差不遠了，它支援多執行緒，gzip/deflate壓縮，超時設定，自動重試，設定棧大小，自動登入等功能；程式碼簡單，使用方便，效能也不俗，可謂居家旅行，殺人放火，咳咳，之必備工具。

之所以說和最終版差得不遠，是因為最終版還有一個保留功能“馬甲術”：多代理自動選擇。看起來好像僅僅是一個random.choice的區別，其實包含了代理獲取，代理驗證，代理測速等諸多環節，這就是另一個故事了。
參考

http://obmem.info/?p=476

http://obmem.info/?p=753
python-network-application/observer-spider.txt · 最後更改: 2011/02/11 15:31 由 admin
顯示原始檔
修訂記錄
到頂部
Back Links
2007~2011 Copyright @ http://www.pythonclub.org