1. 程式人生 > >一臺電腦啟動多個scrapyd

一臺電腦啟動多個scrapyd

window環境,python3.7.0

找到包安裝目錄下的scrapyd配置檔案..\Python37\Lib\site-packages\scrapyd\default_scrapyd.conf

開啟default_scrapyd.conf的配置如下,修改bind_address = 0.0..0.0(允許遠端訪問)

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
...
以下更多配置內容省略

 

複製default_scrapyd.conf這個配置檔案到你要執行的scrapy專案目錄下,並修改名字為scrapyd.conf

開啟scrapyd.conf修改埠配置http_port = 6888,如下

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6888
debug       = off
...
以下更多配置內容省略

在該scrapy專案目錄下啟動黑視窗,輸入命令scrapyd -d 【scrapyd.conf所在的路徑】

如下圖,發現已經有6888啟動scrapyd

在其他的專案同樣的把scrapyd.conf複製過去,然後修改埠,然後專案目錄啟動。

後面scrapyd-deploy的時候,注意把專案裡面的scrapy.conf檔案裡的埠號對應設定好就行。