1.setting 配置檔案修改

# 1.(必須加)。使用scrapy_redis.duperfilter.REPDupeFilter的去重元件，在redis資料庫裡做去重。
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2.（必須加）。使用了scrapy_redis的排程器，在redis裡面分配請求。
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 3.（必須加）。在redis queues 允許暫停和暫停後恢復，也就是不清理redis queues
SCHEDULER_PERSIST = True
# 4.（必須加）。通過RedisPipeline將item寫入key為 spider.name: items的redis的list中，供後面的分散式處理item。
 

# 這個已經由scrapy-redis實現了，不需要我們自己手動寫程式碼，直接使用即可。
ITEM_PIPELINES = {
   'scrapy_redis.pipelines.RedisPipeline': 100
}
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379

2.spider類的書寫

from scrapy_redis.spiders import RedisSpider
import scrapy

class ToutiaoSpider(RedisSpider):
    name='toutiao'
    redis_key = 'start_url'
 

    def parse(self, response):
        ....
        scrapy.Request(url, callback=xxx)

附帶 今日頭條的scrapy_redis 和 scrapy 兩個版本的原始碼，連結補上：