SpiderKeeper的使用
20180522165151556.jpg
之前有一篇文章是講解scrapyd的使用，但是scrapyd是純命令列操作，顯然很麻煩，現介紹一個開源免費使用的視覺化系統。
環境準備
pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper
這裡作者是在Linux下配置的
新建一個資料夾，進入到資料夾後，輸入scrapyd啟動scrapyd服務：
image.png
然後再啟動spiderkeeper，命令列輸入spiderkeeper：
image.png
注：這裡只介紹最簡單的啟動方式，帶引數的自定義方法可查閱官方文件。
開啟瀏覽器訪問spiderkeeper的地址，我這裡是192.168.0.101:5000，然後輸入使用者名稱、密碼，預設都是admin
image.png
至此，環境準備完畢。
部署爬蟲
我的爬蟲程式是在自己的windows電腦上的，開啟命令列進入到爬蟲根目錄：
執行命令： scrapyd-deploy --build-egg output.egg 生成egg檔案。（這裡如果不懂建議去看：Scrapyd使用教程）
然後在spiderkeeper視覺化介面點選 creat project :
image.png
隨便輸入一個名字：
image.png
點選建立，跳到這個介面：
image.png
注意：此時我們系統中只有一個首次建立的名為china的專案，如果系統中已經有多個專案了，現在又建了一個，這時要先選擇專案，再上傳對應的egg檔案，選擇專案點這裡：
image.png
這時可以看到已經切換到china專案:
image.png
上傳egg檔案：
image.png
不要忘記點選提交：
image.png
上傳成功：
image.png
此時，部署完成。
執行爬蟲
部署完後，點選 Dashboard 這個按鈕，再選擇 china 專案，然後點選 RunOnce 按鈕建立爬蟲：
image.png
這裡引數都預設即可：
image.png
點選建立爬蟲按鈕：然後重新整理網頁，
image.png
至此，爬蟲執行完畢。
檢視日誌點 log 即可，停止爬蟲點 stop 即可，其他操作請檢視官方文件： ofollow,noindex">https://github.com/DormyMo/SpiderKeeper 。
如果本文有不懂的地方歡迎評論區留言，點贊~ 祝好~。