1. 程式人生 > >Python爬蟲:Scrapy除錯執行單個爬蟲

Python爬蟲:Scrapy除錯執行單個爬蟲

一般執行Scrapy專案的爬蟲是在命令列輸入指令執行的:

$ scrapy crawl spider

每次都輸入還是比較麻煩的,偶爾還會敲錯,畢竟能少動就少動

Scrapy提供了一個命令列工具,可以在單個spider檔案中加入以下程式碼:


from scrapy import Spider, cmdline

class SpiderName(Spider):
    name = "spider_name"
    ...

if __name__ == "__main__":
    args = 'scrapy crawl spider_name'.split(
) cmdline.execute(args)

這樣,如果是mac版的PyCharm,可以直接使用快捷鍵contrl + shift + R執行專案,省去每次在命令列敲程式碼的煩惱