1. 程式人生 > >scrapy 下爬取不同的網站,使用同一個settings時,設定自己的settings各個引數

scrapy 下爬取不同的網站,使用同一個settings時,設定自己的settings各個引數

比如有project1,和project2兩個網站要爬取,第一個網站已經使用了settings中的配置,那麼project2的配置需要在project2.py中自定義,如下,放到custom_settings 這個字典裡:

 custom_settings = {
    'ITEM_PIPELINES':{'quotetutorial.pipelines.MongoPipeline': 400,},
        'DEFAULT_REQUEST_HEADERS':{
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)',
            'Accept-Encoding': 'gzip,deflate',
            'Accept-Language': 'zh-cn,zh,en'
        }

    }

注意:在這裡的custom_settings 中有設定的引數,才會生效,如果沒有設定,就預設採用settings中設定的;

  如果settings和這裡的custom_settings 同時對一個引數進行設定,那麼project2執行時,只會預設custom_settings中設定的引數。