• Scrapyd 伺服器叢集監控和互動

  • 支援通過分組和過濾選中特定伺服器節點
  • 一次點選，批量執行

• Scrapy 日誌分析

  • 統計資訊展示
  • 爬蟲進度視覺化
  • 關鍵日誌分類

• 支援所有 Scrapyd API

  • Deploy project, Run Spider, Stop job
  • List projects/versions/spiders/running_jobs
  • Delete version/project

GitHub

歡迎 Star 和提交 Issue

安裝

通過 pip 安裝：

pip install scrapydweb

啟動

通過命令列終端執行 "scrapydweb -h" 以檢視幫助和選項. 第一次執行將在當前工作目錄生成配置檔案 "scrapydweb_settings.py"，可用於自定義 Scrapyd 伺服器列表等選項.

scrapydweb

執行介面截圖

• 叢集監控和互動

   

• 當前節點任務列表

  

• 日誌分析

  • 統計資訊輸出

    

  • 爬蟲進度視覺化

    

  • 關鍵日誌分類

    

• 部署專案

  

• 執行爬蟲

  

• 管理專案