scrapyd官方文件

首先，我們來了解一下什麼是scrapyd

• scrapyd是執行scrapy爬蟲的服務程式，它支援以http命令方式釋出、刪除、啟動、停止爬蟲程式。而且scrapyd可以同時管理多個爬蟲，每個爬蟲還可以有多個版本。

為什麼要使用scrapyd

• 1、可以避免爬蟲原始碼被看到。
• 2、有版本控制。
• 3、可以遠端啟動、停止、刪除。

怎樣安裝scrapyd

• 1，安裝scrapyd
  主要有兩種安裝方式：
  pip install scrapyd （安裝的版本可能不是最新版本）
  從 https://github.com/scrapy/scrapyd 中下載原始碼，
  執行python
  setup.py install 命令進行安裝
• 2， 安裝 scrapyd-deploy
  主要有兩種安裝方式：
  pip install scrapyd-client（安裝的版本可能不是最新版本）
  從 http://github.com/scrapy/scrapyd-client 中下原始碼，
  執行python setup.py install 命令進行安裝。

scrapy的使用

1. 第一步：
   在服務端 啟動 scrapyd，執行scrapyd命令即可
   
   啟動成功後，在瀏覽器中可以通過服務端的IP 和 預設埠號6800進行訪問，介面如圖所示
   
2. 第二步：
   釋出爬蟲工程到 scrapyd

首先配置 scrapy爬蟲中的 scrapy.cfg

• 1.首先去掉url前面的註釋符號，url是scrapyd伺服器的網址
• 2.然後project=tenCent為專案名稱，可以隨意起名
• 3.修改[deploy]為[deploy:100]，表示把爬蟲釋出到名為100的爬蟲伺服器上，一般在需要同時釋出爬蟲到多個目標伺服器時使用
  

新增爬蟲工程
命令如下：

Scrapyd-deploy <tartget> -p <project> --version <version>

引數解釋：

• Target：deploy後面的名稱。
• Project：自行定義名稱，跟爬蟲的工程名字無關。
• Version：自定義版本號，不寫的話預設為當前時間戳。
  
  
  釋出成功之後 在瀏覽器介面重新整理 即可看到 新新增的 爬蟲工程

以上在scrapyd官方文件中 都有說明，如有不明，請檢視官方文件

**

重點來了，下面是scrapyd 提供的API

**

1. 啟動爬蟲任務：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name

2. 停止爬蟲任務：

curl http://localhost:6800/cancel.json -d project=spider_name -d job=job_id

3. 檢查服務的負載狀態

curl http://localhost:6800/daemonstatus.json

4. 獲取上傳到此Scrapy伺服器的專案列表

curl http://localhost:6800/listprojects.json

…

其實 以上這些難記的 API 只需要一個簡單的 Python指令碼 就可以搞定

import requests

class ScrapyApi(object):
	def __init__(self):
		self.ip = "localhost"
		self.port = 6800
		
	#啟動爬蟲任務方法
	def schedule(self,project,spider):
		self.url = "http://%s:%s/schedule.json"%(self.ip,self.port)
		self.data = {
			"project":project,
			"spider":spider
		}
		return requests.post(url=self.url, data=self.data).json()
	
	#這是停止爬蟲的方法
	def cancel(self,project,job_id):
		self.url = "http://%s:%s/cancel.json"%(self.ip,self.port)
		self.data = {
			"project":project,
			"job_id":job_id
		}
		return requests.post(url = self.url, data=self.data).json()
	
	。。。

if __name__=="__main__":
	sa = ScrapydApi()
	sa.schedule("專案名","爬蟲名")
	sa.cancel("專案名","job_id")
	。。。

當然 還有其他辦法，shell指令碼 也是一個不錯的選擇
或者 Python的 os模組，使用 os.system能直接呼叫 shell 命令，也能輕鬆實現。選擇適合自己的方法就好了