Features

1. 簡單、易用；
2. 易於定製的 Spider ；
3. 多執行緒實現併發下載。

待改進

1. 更多的測試程式碼；
2. 新增更多的網站爬蟲示例；
3. 完善爬蟲排程，支援 Request 優先順序排程。

xcrawler 介紹

專案結構

├── demo （一個示例 Spider）
│ ├── baidu_news.py
│ └── __init__.py
├── README.md （專案文件）
├── setup.py （pip 安裝指令碼）
├── tests （測試程式碼，尚未完成）
└── xcrawler （核心程式碼）
 ├── core
 │ ├── crawler.py （Crawler process，負責管理引擎的配置和啟動）
 │ ├── engine.py （Crawler engine，負責排程並完成 URL 請求和呼叫解析方法）
 │ ├── __init__.py
 ├── __init__.py
 ├── spider
 │ ├── __init__.py
 │ ├── request.py
 │ ├── response.py
 │ └── spider.py （Spider 基類，所有的自定義 Spider 需要從此處繼承）
 └── utils （一些工具函式）
 ├── __init__.py
 └── url.py

Crawler engine （生產者+消費者模型）

1. 引擎啟動時會啟動一個後臺執行緒池，後臺執行緒池負責下載由排程器提供給它的所有 URL （Request），並將響應（Response）結果存放到佇列中；
2. 引擎的前臺解析執行緒會不斷消費處理佇列中的響應（Response），並呼叫相應 Spider 的解析函式處理這些相應；
3. 引擎負責處頁面理解析回來的物件，所有的 Request 物件都會被放到佇列中（遞迴抓取時）等待處理，所有的字典物件（item）送給 Spider 的 process_item 方法處理。

配置介紹

• 配置專案

1. download_delay : 每批次之間的下載延遲（單位為秒），預設為 0；
2. download_timeout ：下載等待延遲，預設為 6 秒；
3. retry_on_timeout ：即當下載超時後，對應的請求是否應該重試；
4. concurrent_requests ：併發下載數；
5. queue_size ：請求佇列大小，當佇列已滿時，會阻塞後續的請求。

• 示例配置：
• 進群：548377875   海量學習教程，大牛隨時答疑  

settings = {
 'download_delay': 0,
 'download_timeout': 6,
 'retry_on_timeout': True,
 'concurrent_requests': 32,
 'queue_size': 512
}

Spider 基類關鍵方法介紹

1. spider_started ：該方法會在引擎啟動時被觸發呼叫，你可以通過繼承該方法進行一些初始化工作，比如配置 pipeline 輸出檔案或者資料庫連線等等；
2. spider_idle ：該方法會在引擎處理空閒狀態（即沒有任何 requests 在佇列）時被觸發呼叫，你可以通過繼承該方法給引擎新增新的請求等（使用 self.crawler . crawl ( new_request , spider = self )即可）；
3. spider_stopped ：該方法會在引擎關閉時觸發呼叫，你可以通過繼承該方法並在 Spider 結束工作前做一些清理工作，如關閉檔案管道、關閉資料庫連線等；
4. start_requests ：該方法會為引擎提該 Spider 的對應種子請求；
5. make_requests_from_url ：該方法會為你的 URL 建立一個 Request 物件；
6. parse ：該方法為請求的預設解析函式回撥，當然你可以可以在建立 Request 時指定其它的回撥函式；
7. process_request ：每當引擎處理一個 Spider 對應的請求時，該方法會被觸發呼叫，你可以通過繼承該方法對 request 做些設定，比如更換隨機的 User - Agent ，替換 Cookies 或者代理等；當然，你可以將 request 設定為 None 從而忽略該請求；
8. proccess_response ：每當引擎處理一個 Spider 對應的響應時，該方法會被觸發呼叫；
9. process_item ：每當引擎處理一個 Spider 對應的 item 時，該方法會被觸發呼叫，你可以通過繼承該方法將抓取並解析到的 item 儲存到資料庫或者本地檔案中。

注意

1. 你可以在一個 Crawler 程序中裝入不同的 Spider class ，但需要保證不同的 Spider 的名稱也要不同，否則會被引擎拒絕；
2. 需要根據情況調整下載延遲和併發數大小；下載延遲儘量不要太大，否則每批請求可能會等待較長時間才會處理完成，從而影響爬蟲效能；
3. Windows 下的測試還沒做，我用的是 Ubuntu ，所以如果您有什麼問題，歡迎反饋哈！

安裝

1. 請移步專案主頁 xcrawler (https://github.com/chrisleegit/xcrawler) 下載原始碼；
2. 請保證你的安裝環境為 Python 3.4+ ；
3. 請使用 pip 3 setup.py install 安裝即可。

示例

from xcrawler import CrawlerProcess
from xcrawler.spider import BaseSpider, Request
from lxml.html import fromstring
import json
__version__ = '0.0.1'
__author__ = 'Chris'
class BaiduNewsSpider(BaseSpider):
 name = 'baidu_news_spider'
 start_urls = ['http://news.baidu.com/']
 default_headers = {
 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) '
 'Chrome/50.0.2661.102 Safari/537.36'
 }
 def spider_started(self):
 self.file = open('items.jl', 'w')
 def spider_stopped(self):
 self.file.close()
 def spider_idle(self):
 # 引擎空閒時，你也可以從資料庫中提取新的 URL 進來
 print('I am in idle mode')
 # self.crawler.crawl(new_request, spider=self)
 def make_requests_from_url(self, url):
 return Request(url, headers=self.default_headers)
 def parse(self, response):
 root = fromstring(response.content,
 base_url=response.base_url)
 for element in root.xpath('//a[@target="_blank"]'):
 title = self._extract_first(element, 'text()')
 link = self._extract_first(element, '@href').strip()
 if title:
 if link.startswith('http://') or link.startswith('https://'):
 yield {'title': title, 'link': link}
 yield Request(link, headers=self.default_headers, callback=self.parse_news,
 meta={'title': title})
 def parse_news(self, response):
 pass
 def process_item(self, item):
 print(item)
 print(json.dumps(item, ensure_ascii=False), file=self.file)
 @staticmethod
 def _extract_first(element, exp, default=''):
 r = element.xpath(exp)
 if len(r):
 return r[0]
 return default
def main():
 settings = {
 'download_delay': 1,
 'download_timeout': 6,
 'retry_on_timeout': True,
 'concurrent_requests': 16,
 'queue_size': 512
 }
 crawler = CrawlerProcess(settings, 'DEBUG')
 crawler.crawl(BaiduNewsSpider)
 crawler.start()
if __name__ == '__main__':
 main()

版權宣告

• 本文由 Christopher L 發表，採用 知識共享署名——非商業性使用——相同方式共享 4.0 國際許可協議 進行許可。請確保你已瞭解許可協議，並在轉載 時宣告。
• 本文固定連結： http://blog.chriscabin.com/?p=1512。