一、Scrapy的安裝

1. 如果電腦中安裝有Anaconda 直接輸入conda install scrapy 進行安裝.

2. 如果沒有安裝Anaconda,就需要進入http://www.lfd.uci.edu/~gohlke/pythonlibs/，從該網站找到lxml的相關檔案。假如是Python3.5版本，WIndows 64位系統，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 這個檔案並下載，然後在終端裡輸入pip install + 上面下載的檔案(找到檔案,拖拽到終端即可)。再執行命令conda install scrapy

3測試是否安裝成功 輸出scrapy按回車鍵 現實下圖即安裝成功

二、框架介紹

在安裝了scrapy之後，要設定建立的專案地址通過cd加上空格的形式將檔案拉進去

在pycharm中開啟,專案結構如圖

各部分元件介紹

（1）Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，訊號、資料傳遞等。
（2）Scheduler(排程器): 它負責接受引擎傳送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
（3）Downloader（下載器）：負責下載Scrapy Engine(引擎)傳送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)