一臺電腦啟動多個scrapyd
阿新 • • 發佈:2018-11-09
window環境,python3.7.0
找到包安裝目錄下的scrapyd配置檔案..\Python37\Lib\site-packages\scrapyd\default_scrapyd.conf
開啟default_scrapyd.conf的配置如下,修改bind_address = 0.0..0.0(允許遠端訪問)
[scrapyd] eggs_dir = eggs logs_dir = logs items_dir = jobs_to_keep = 5 dbs_dir = dbs max_proc = 0 max_proc_per_cpu = 4 finished_to_keep = 100 poll_interval = 5.0 bind_address = 0.0.0.0 http_port = 6800 debug = off ... 以下更多配置內容省略
複製default_scrapyd.conf這個配置檔案到你要執行的scrapy專案目錄下,並修改名字為scrapyd.conf
開啟scrapyd.conf修改埠配置http_port = 6888,如下
[scrapyd] eggs_dir = eggs logs_dir = logs items_dir = jobs_to_keep = 5 dbs_dir = dbs max_proc = 0 max_proc_per_cpu = 4 finished_to_keep = 100 poll_interval = 5.0 bind_address = 0.0.0.0 http_port = 6888 debug = off ... 以下更多配置內容省略
在該scrapy專案目錄下啟動黑視窗,輸入命令scrapyd -d 【scrapyd.conf所在的路徑】
如下圖,發現已經有6888啟動scrapyd
在其他的專案同樣的把scrapyd.conf複製過去,然後修改埠,然後專案目錄啟動。
後面scrapyd-deploy的時候,注意把專案裡面的scrapy.conf檔案裡的埠號對應設定好就行。