親身經歷，非常痛苦

1.網上嘗試各種辦法都沒成功~，很是蛋疼，最後只能死馬當活馬醫，http://landinghub.visualstudio.com/visual-cpp-build-tools下載Visual C++ 2015 Build Tools

2.下好後，靜靜等靜靜的。。。。，直到安裝完成，重啟電腦，在pycharm中安裝scrapy成功。。

3.這時如何建立一個scrapy的專案呢？

第一步：在隨意一個檔案上建立一個資料夾，在該位置開啟cmd，輸入

scrapy startproject 檔名

(如果windows上沒有安裝scrapy是不能執行成功的，windows安裝教程：點選開啟連結)

第二步：在pycharm中開啟專案，就ok了

解析scrapy框架結構：

• scrapy.cfg: 專案的配置檔案。
• tutorial/: 該專案的python模組。之後您將在此加入程式碼。
• tutorial/items.py: 專案中的item檔案。
• tutorial/pipelines.py: 專案中的pipelines檔案。
• tutorial/settings.py: 專案的設定檔案。
• tutorial/spiders/: 放置spider程式碼的目錄。

加一段專案說明 轉：https://zhuanlan.zhihu.com/p/26832971

Scrapy框架的基本介紹:

首先，我們得明白一點，Scrapy不是一個功能函式庫，而是一個爬蟲框架，簡單的說，他是一個半成品，可以幫助使用者簡單快速的部署一個專業的網路爬蟲。如果說前面我們寫的定製bs4爬蟲是”手動擋“，那Scrapy就相當於”半自動檔“的車。

Scrapy框架結構:

首先來一張框架整體的圖：

• SPIDERS
• ITEM PIPELINES
  
• DOWNLOADER
  
• SCHEDULER
  
• ENGIINE
  

這五個部分互相協作，共同完成了整個爬蟲專案的工作。下面我們來一個一個介紹。

• SPIDERS:

Spiders這個模組就是整個爬蟲專案中需要我們手動實現的核心部分，就是類似我們之前寫的get_content函式部分，最主要的功能是 解析網頁內容、產生爬取項、產生額外的爬去請求。

• ITEM PIPELINES：

  這個模組也是需要我們手動實現的，他的主要功能是將我們爬取篩選完畢的資料寫入文字，資料庫等等。總之就是一個“本地化”的過程。

• DOWNLOADER：

  這個模組，是Scrapy幫我們做好的，不需要我們自己編寫，直接拿來用就行，其主要功能就是從網上獲取網頁內容，類似於我們寫的get_html函式，當然，比我們自己寫的這個簡單的函式要強大很多

• SCHEDULER：

  這個模組對所有的爬取請求，進行排程管理，同樣也是不需要我們寫的模組。通過簡單的配置就能達到更加多執行緒，併發處理等等強大功能。

• ENGIINE
  這個模組相當於整個框架的控制中心，他控制著所有模組的資料流交換，並根據不同的條件出發相對應的事件，同樣，這個模組也是不需要我們編寫的。

Scrapy框架的資料流動：

先上一張圖：

說了各個模組的作用，那麼整個專案跑起來的時候，資料到底是怎麼運作的呢？讓我來詳細說明：

1. Engine從Spider處獲得爬取請求(request)
2. Engine將爬取請求轉發給Scheduler，排程指揮進行下一步
   
3. Engine從Scheduler出獲得下一個要爬取的請求
   
4. Engine將爬取請求通過中介軟體發給Downloader
   
5. 爬取網頁後後，downloader返回一個Response給engine
   
6. Engine將受到的Response返回給spider處理
   
7. Spider處理響應後，產生爬取項和新的請求給engine
   
8. Engine將爬取項傳送給ITEM PIPELINE（寫出資料）
   
9. Engine將會爬取請求再次發給Scheduler進行排程（下一個週期的爬取）