win10如何使用scrapyd部署爬蟲

官方文件：http://scrapyd.readthedocs.io/en/stable/

scrapy爬蟲寫好後，一般需要用命令列執行。scrapyd部署能夠在網頁端檢視正在執行的任務，也能新建爬蟲任務，和終止爬蟲任務。優點：在網頁端管理爬蟲，可以控制多個爬蟲任務。

1.安裝

pip install scrapyd
pip install scrapyd-client

2.基本使用

2.1 執行scrapyd

在scrapy.cfg中，取消#url = http://localhost:6800/前面的“#” 。

首先切換命令列路徑到Scrapy專案的根目錄下，
開啟scrapyd服務，輸入scrapyd

然後新開一個終端切換路徑至scrapy工程根目錄，釋出scrapyd專案，執行命令：
scrapd-deploy -p projectName
驗證是否釋出成功：
scrapyd-deploy -l

2.2 釋出工程到scrapyd

上述命令已經開啟服務，並建立了爬蟲專案

2.3 建立爬蟲任務

命令列輸入

curl http://localhost:6800/schedule.json -d project=projectName -d spider=spiderName

3. 檢視爬蟲任務

在網頁中輸入：http://localhost:6800/

4.修改scrapyd的配置

scrapyd預設保留5條日誌。
預設繫結地址為127.0.0.1。如果是在伺服器部署爬蟲需要在其他主機訪問則修改地址為0.0.0.0
pip show scrapyd找到scrapyd的位置

一些常用命令：

• 檢視狀態：

  scrapyd-deploy -l

• 啟動爬蟲：

  curl http://localhost:6800/schedule.json -d project=PROJECT_NAME -d spider=SPIDER_NAME

• 停止爬蟲：

  curl http://localhost:6800/cancel.json -d project=PROJECT_NAME -d job=JOB_ID

• 刪除專案：

  curl http://localhost:6800/delproject.json -d project=PROJECT_NAME

• 列出部署過的專案：

  curl http://localhost:6800/listprojects.json

• 列出某個專案內的爬蟲：

  curl http://localhost:6800/listspiders.json?project=PROJECT_NAME

• 列出某個專案的job：

  curl http://localhost:6800/listjobs.json?project=PROJECT_NAME

1、獲取狀態
http://127.0.0.1:6800/daemonstatus.json
2、獲取專案列表
http://127.0.0.1:6800/listprojects.json
3、獲取專案下已釋出的爬蟲列表
http://127.0.0.1:6800/listspiders.json?project=myproject
4、獲取專案下已釋出的爬蟲版本列表

http://127.0.0.1:6800/listversions.json?project=myproject
5、獲取爬蟲執行狀態
http://127.0.0.1:6800/listjobs.json?project=myproject
6、啟動伺服器上某一爬蟲（必須是已釋出到伺服器的爬蟲）
http://localhost:6800/schedule.json （post方式，data={"project":myproject,"spider":myspider}）
7、刪除某一版本爬蟲
http://127.0.0.1:6800/delversion.json （post方式，data={"project":myproject,"version":myversion}）
8、刪除某一工程，包括該工程下的各版本爬蟲
http://127.0.0.1:6800/delproject.json（post方式，data={"project":myproject}）

參考文章：https://www.cnblogs.com/zhongtang/p/5634545.html

重啟scrapyd的方法

（1）ps aux|grep scrapyd：找到scrapyd的pid

（2） kill -9 pid 或者kill pid

（3）screen -S scrapyd 新建一個程序

（4） 在程序裡啟動scrapyd

/usr/bin/python /usr/local/bin/scrapyd

（5）ctrl+A+D退出程序

（6）改工程的scrapy.cfg檔案，如果url有#號，把url前的#去掉

（7）可以scrapyd-deploy工程了

screen參考：
https://www.ibm.com/developerworks/cn/linux/l-cn-screen/
http://man.linuxde.net/screen

殺死screen會話 screen -X -S pid quit 其中pid為screen程序號
screen -ls 列出現有screen會話列表
screen -r pid 恢復到某個screen會話
Ctrl+a +d 保留會話離開當前視窗