專案需要程式能夠放在超算中心定時執行，於是針對scrapy寫了一個定時爬蟲的程式main.py ，直接放在scrapy的儲存程式碼的目錄中就能設定時間定時多次執行。
最簡單的方法：直接使用Timer類

import time
import os

while True:
    os.system("scrapy crawl News")
    time.sleep(86400)  #每隔一天執行一次 24*60*60=86400s

或者，使用標準庫的sched模組

import sched
#初始化sched模組的scheduler類
#第一個引數是一個可以返回時間戳的函式，第二個引數可以在定時未到達之前阻塞。
 

schedule = sched.scheduler ( time.time, time.sleep )

#被週期性排程觸發的函式
def func():
    os.system("scrapy crawl News")
def perform1(inc):
    schedule.enter(inc,0,perform1,(inc,))
    func()    # 需要週期執行的函式
def mymain():
    schedule.enter(0,0,perform1,(86400,))

if __name__=="__main__":
    mymain()
    schedule.run()  # 開始執行，直到計劃時間佇列變成空為止
 

關於cmd的實現方法，本人在單次執行爬蟲程式時使用的是

cmdline.execute("scrapy crawl News".split())

但可能因為cmdline是scrapy模組中自帶的，所以定時執行時只能執行一次就退出了。小夥伴有種方法是使用

import subprocess
subprocess.Popen("scrapy crawl News")

她的程式執行正常可以定時多次執行，而我的卻直接退出了，改為

from subprocess import Popen
subprocess.Popen("scrapy crawl News")