1. 程式人生 > >scrapy框架 用post 爬取網站資料 的兩種方法區別

scrapy框架 用post 爬取網站資料 的兩種方法區別

post請求,一定要重新呼叫父類的 start_requests(self)方法

方法1:(推薦)

重構start_requests

def start_requests(self):
    data = {
        'source': 'index_nav',
        'redir': 'https://www.douban.com/',
        '....'
    }
    for url in self.start_urls:
        yield scrapy.FormRequest(url=url, formdata=
data, callback=self.parse)

方法2:

重構start_requests

def start_requests(self):
    yield scrapy.Request(url=url, callback=self.parse, method='post')