1.使用gerapy進行分散式爬蟲管理

準備工作：

首先將你使用scrapy-redis寫的分散式爬蟲全部完善

模組準備：

安裝：

pip install pymongo【依賴模組】

pip install gerapy 

2.在本地建立部署專案的資料夾

2.1例如如圖在本地建立workgreapy資料夾

2.2進入該資料夾

2.3輸入cmd  回車

2.4在命令列模式下輸入gerapy init， 進行專案初始化

2.5 此時進入gerapy資料夾   同時將你自己寫的爬蟲專案資料夾放入到gerapy/project下

2.6 接下來執行gerapy migrate 進行資料庫遷移

2.7接下來重新開啟一個命令列視窗 win+R  輸入cmd  模擬scrapyd服務端啟動

2.8接下來在上一個命令列視窗下輸入 gerapy runserver  進行啟動管理平臺

2.9開啟瀏覽器 在位址列輸入 http://127.0.0.1:8000 回車就能看到基於gerapy的爬蟲專案部署的後臺頁面

點選主機管理or(clients) 進行主機管理

接下來進行專案部署點選專案管理or(Projects)  點選部署  將自己的專案打包

之後再點選部署  彈出部署成功

返回主機管理  點選排程or(schedule)

至此爬蟲的專案部署已經完成。點選執行  爬蟲程式就可以正常運行了   由於我使用的是基於scrapy-redis模組的分散式爬蟲所以需要執行redis的服務端與客戶端  在客戶端輸入.

此時程式就可以正常啟動了

0.0.0.0.0.0.0