Scrapy框架第一發送POST請求遇到的小坑

前言： 爬取一個數據開發平臺 悅採 網, 爬取上面的招標_採購資訊。

要看解決方式的直接跳到最後

首先思路，分析網站，找規律，我感覺這個是重要的一步。

1.先看看網頁結構，找規律。

我們發現只要找到這個url然後請求，進入詳細頁面，就找到想要的資料了。

開始找規律爬取資料

我們找到了別人的api介面，裡面有公司的一些相關資訊，可以拼接id訪問每個公司url

但是這裡的url是一個post請求，而且需要Payload，我一開始沒注意, 就當成普通的POST請求去使用，一直沒有成功報400

import requests
import json


class YuecaiSpider(object):
    def __init__(self):
        self.headers = {
            'Content-Type': 'application/json',
            'Host': 'iris.yuecai.com',
            'Origin'
 
: 'http://www.yuecai.com',
            # 'Referer': 'http://www.yuecai.com/purchase/?SiteID=21',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        }
        self.data = {
            "page": 0,
            "size": 20,
            "sort"
 
: None,
            "teseData": 2,
            "word": None,
            "zone": None,
        }

    def start_requests(self):
        url = "http://iris.yuecai.com/iris/v1/purchase/search"
        res = requests.post(url, headers=self.headers, data=json.dumps(self.data))  #　這裡要轉換為json資料
        print(res.status_code)
        print(res.text)


if __name__ == '__main__':
    yuecai = YuecaiSpider()
    yuecai.start_requests()

• 用requests寫測試指令碼的時候，一點問題沒有，但是我改成scrapy後，一直沒有資料。我不知道是為什麼？？

import scrapy
import json


class YuecaiSpider(scrapy.Spider):
    name = 'yuecai'
    allowed_domains = ['yuecai.com']
    start_urls = ['http://iris.yuecai.com/iris/v1/purchase/search']

    site_name = '悅採網資料平臺'
    version = '1.0'

    def __init__(self):
        super(YuecaiSpider, self).__init__()
        self.headers = {
            # 'Accept': 'application/json, text/javascript, */*; q=0.01',
            # 'Accept-Encoding': 'gzip, deflate',
            # 'Accept-Language': 'zh-CN,zh;q=0.9',
            # 'Connection': 'keep - alive',
            # 'Content - Length': '69',
            'Content-Type': 'application/json',
            'Host': 'iris.yuecai.com',
            'Origin': 'http://www.yuecai.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        }

        self.data = {
            'word': None,   # 'NULL'
            'zone': None,    # 注意這邊特別坑的  有的就是需要'null'這種資料
            'page': '1',     # 引數該用字元用字元
            'size': '20',    # 
            'sort': None,
            'teseData': '2',
        }

    def start_requests(self):
        url = "http://iris.yuecai.com/iris/v1/purchase/search"
        yield scrapy.Request(
            url,
            method="POST",
            headers=self.headers,
            body=json.dumps(self.data),   # 這邊資料也是要轉換成json資料
            dont_filter=True,
            callback=self.parse,
        )

    def parse(self, response):
        print("*" * 50)
        print(response.status)
        print(response.text)
        print("*" * 50)

把上面的請求的引數加了引號， 需要’null’的改成None(但是有的網站POST請求引數就是’null’)
好吧看看我執行的結果把。

對你有幫助的話 可以去我的 github上點個start 非常感謝！