1. 程式人生 > >Scrapy爬蟲架構圖解

Scrapy爬蟲架構圖解

這裡寫圖片描述

這就是整個Scrapy的架構圖了;

Scrapy Engine: 這是引擎,負責Spiders、ItemPipeline、Downloader、Scheduler中間的通訊,訊號、資料傳遞等等!(像不像人的身體?)

Scheduler(排程器): 它負責接受引擎傳送過來的requests請求,並按照一定的方式進行整理排列,入隊、並等待Scrapy Engine(引擎)來請求時,交給引擎。

Downloader(下載器):負責下載Scrapy Engine(引擎)傳送的所有Requests請求,並將其獲取到的Responses交還給Scrapy Engine(引擎),由引擎交給Spiders來處理,

Spiders:它負責處理所有Responses,從中分析提取資料,獲取Item欄位需要的資料,並將需要跟進的URL提交給引擎,再次進入Scheduler(排程器),

Item Pipeline:它負責處理Spiders中獲取到的Item,並進行處理,比如去重,持久化儲存(存資料庫,寫入檔案,總之就是儲存資料用的)

Downloader Middlewares(下載中介軟體):你可以當作是一個可以自定義擴充套件下載功能的元件

Spider Middlewares(Spider中介軟體):你可以理解為是一個可以自定擴充套件和操作引擎和Spiders中間‘通訊‘的功能元件(比如進入Spiders的Responses;和從Spiders出去的Requests)

資料在整個Scrapy的流向:

程式執行的時候,

引擎:Hi!Spider, 你要處理哪一個網站?

Spiders:我要處理23wx.com

引擎:你把第一個需要的處理的URL給我吧。

Spiders:給你第一個URL是XXXXXXX.com

引擎:Hi!排程器,我這有request你幫我排序入隊一下。

排程器:好的,正在處理你等一下。

引擎:Hi!排程器,把你處理好的request給我,

排程器:給你,這是我處理好的request

引擎:Hi!下載器,你按照下載中介軟體的設定幫我下載一下這個request

下載器:好的!給你,這是下載好的東西。(如果失敗:不好意思,這個request下載失敗,然後引擎告訴排程器,這個request下載失敗了,你記錄一下,我們待會兒再下載。)

引擎:Hi!Spiders,這是下載好的東西,並且已經按照Spider中介軟體處理過了,你處理一下(注意!這兒responses預設是交給def parse這個函式處理的)

Spiders:(處理完畢資料之後對於需要跟進的URL),Hi!引擎,這是我需要跟進的URL,將它的responses交給函式 def  xxxx(self, responses)處理。還有這是我獲取到的Item。

引擎:Hi !Item Pipeline 我這兒有個item你幫我處理一下!排程器!這是我需要的URL你幫我處理下。然後從第四步開始迴圈,直到獲取到你需要的資訊,

注意!只有當排程器中不存在任何request了,整個程式才會停止,(也就是說,對於下載失敗的URL,Scrapy會重新下載。)

以上就是Scrapy整個流程了。