手動部署scrapy爬蟲專案到Scrapyd服務
阿新 • • 發佈：2019-01-07
- 建議使用虛擬環境，原因在於（1）可以在系統的Python直譯器中避免包的混亂和版本的衝突（2）保持全域性直譯器的乾淨整潔，使其只作為建立更多虛擬環境的源。（3）不需要管理員許可權
- 啟動scrapyd服務，就會在當前工作目錄下儲存所部署的專案以及資料，為了管理方便，一般自己建立一個資料夾。
- 使用scrapyd-client來打包專案，裝完這個包會在python環境下的script中會出現一個scrapyd-deploy無後綴的檔案（是在linux系統中開啟的）,新建一個同名檔案，把它加上 .bat 字尾（此時該檔案是空的）
- 然後編輯上面新建的scrapyd-deploy.bat檔案，新增python環境的路徑和這個檔案的路徑，要使用雙引號 （新增以下程式碼）
@echo off "C:\Envs\scrapySpider\Scripts\python.exe" "C:\Envs\scrapySpider\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 - 在爬蟲專案有scrapy.cfg的資料夾中開啟命令視窗，輸入scrapyd-deploy測試是否可用
- 編輯爬蟲專案的cfg檔案，解除url的註釋並設定部署名稱
- 執行scrapyd-deploy-l 命令可以檢視設定的名稱
- 打包之前執行scrapy list,執行成功就可以執行打包命令： scrapyd-deploy 部署名稱 -p 專案名稱