1. 程式人生 > >scrapyd部署(遠端管理爬蟲專案)

scrapyd部署(遠端管理爬蟲專案)

1. 需要安裝scrapyd=1.2.0     scrapyd-client=1.2.0a1

首先進入虛擬環境

 

2. 啟動scrapyd服務

3.  配置爬蟲專案:

 4.開始向scrapyd中部署

 檢視當前可用於部署到scrapyd 服務中的爬蟲有哪些

引數1:[deploy:jobbole]

引數2:scrapy.cfg檔案中的url

 命令scrapy list 用來檢視當前專案中可用的專案

 

 引數:

部署成功

列舉scrapyd已經部署的爬蟲專案

如果提示不能執行curl命令則需要安裝cmder來執行

(curl配置說明:https://www.cnblogs.com/zhuzhenwei918/p/6781314.html

 檢視專案資訊:

 刪除專案:

 啟動爬蟲:

在網頁檢視

 取消任務的執行:

命令可以在文件檢視