Python爬蟲從入門到放棄（十二）之 Scrapy框架的架構和原理
原文地址https://www.cnblogs.com/zhaof/p/7173397.html
這一篇文章主要是為了對scrapy框架的工作流程以及各個組件功能的介紹
Scrapy目前已經可以很好的在python3上運行
Scrapy使用了Twisted作為框架，Twisted有些特殊的地方是它是事件驅動的，並且比較適合異步的代碼。對於會阻塞線程的操作包含訪問文件、數據庫或者Web、產生新的進程並需要處理新進程的輸出(如運行shell命令)、執行系統層次操作的代碼(如等待系統隊列),Twisted提供了允許執行上面的操作但不會阻塞代碼執行的方法。
Scrapy data flow（流程圖）
Scrapy數據流是由執行的核心引擎(engine)控制，流程是這樣的：
1、爬蟲引擎ENGINE獲得初始請求開始抓取。
2、爬蟲引擎ENGINE開始請求調度程序SCHEDULER，並準備對下一次的請求進行抓取。
3、爬蟲調度器返回下一個請求給爬蟲引擎。
4、引擎請求發送到下載器DOWNLOADER，通過下載中間件下載網絡數據。
5、一旦下載器完成頁面下載，將下載結果返回給爬蟲引擎ENGINE。
6、爬蟲引擎ENGINE將下載器DOWNLOADER的響應通過中間件MIDDLEWARES返回給爬蟲SPIDERS進行處理。
7、爬蟲SPIDERS處理響應，並通過中間件MIDDLEWARES返回處理後的items，以及新的請求給引擎。
8、引擎發送處理後的items到項目管道，然後把處理結果返回給調度器SCHEDULER，調度器計劃處理下一個請求抓取。
9、重復該過程（繼續步驟1），直到爬取完所有的url請求。
各個組件介紹
爬蟲引擎(ENGINE)
爬蟲引擎負責控制各個組件之間的數據流，當某些操作觸發事件後都是通過engine來處理。
調度器(SCHEDULER)
調度接收來engine的請求並將請求放入隊列中，並通過事件返回給engine。
下載器(DOWNLOADER)
通過engine請求下載網絡數據並將結果響應給engine。
Spider
Spider發出請求，並處理engine返回給它下載器響應數據，以items和規則內的數據請求(urls)返回給engine。
管道項目(item pipeline)
負責處理engine返回spider解析後的數據，並且將數據持久化，例如將數據存入數據庫或者文件。
下載中間件
下載中間件是engine和下載器交互組件，以鉤子(插件)的形式存在，可以代替接收請求、處理數據的下載以及將結果響應給engine。
spider中間件
spider中間件是engine和spider之間的交互組件，以鉤子(插件)的形式存在，可以代替處理response以及返回給engine items及新的請求集。
如何創建Scrapy項目
創建Scrapy項目
創建scrapy項目的命令是scrapy startproject 項目名，創建一個爬蟲
進入到項目目錄scrapy genspider 爬蟲名字 爬蟲的域名，例子如下：
zhaofandeMBP:python_project zhaofan$ scrapy startproject test1
New Scrapy project ‘test1‘, using template directory ‘/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/scrapy/templates/project‘, created in:
/Users/zhaofan/Documents/python_project/test1
You can start your first spider with:
cd test1
scrapy genspider example example.com
zhaofandeMBP:python_project zhaofan$
zhaofandeMBP:test1 zhaofan$ scrapy genspider shSpider hshfy.sh.cn
Created spider ‘shSpider‘ using template ‘basic‘ in module:
test1.spiders.shSpider
scrapy項目結構
items.py 負責數據模型的建立，類似於實體類。
middlewares.py 自己定義的中間件。
pipelines.py 負責對spider返回數據的處理。
settings.py 負責對整個爬蟲的配置。
spiders目錄 負責存放繼承自scrapy的爬蟲類。
scrapy.cfg scrapy基礎配置
Python爬蟲從入門到放棄（十二）之 Scrapy框架的架構和原理