1. 程式人生 > >scrapy中Request請求使用Request payload引數

scrapy中Request請求使用Request payload引數

今天做爬蟲,又被payload的引數坑了一次,還是要記錄下,否則下次還是容易忘。
如下圖所示,在這個請求中,payload中有個引數在F12中有個‘str’=null的引數,在大家需要寫的時候,如果真的在dict中也這麼寫,很容易會出現問題的。要不返回400,要不沒有資料。
那麼在這裡詳細的說下在scrapy中payload引數的構成方式。
首先要明確下:
1、在F12中雖然提示的是post請求,但因為不是引數為formdata,所以還是要用scrapy.Request,並不需要FormdataRequeat.
2、在構建headers的過程中,一定要新增‘Conten-Type’:‘application/json’,其他的根據自己的情況自行拼接
3、在request中,要使用method=“POST”,來明確這個請求型別為POST
4、將payload引數構建完成後,需要用json.dumps,把該引數變成json格式的資料
5、如果在F12中,看到某個引數的值為null,那麼就需要大家自己測試下,這個需要的引數,到底值是null字串,還是None.這個坑如果不在意,真的是每次都要掉裡面一次,
在這裡插入圖片描述


好了,這次的小知識就記錄到這。希望能幫助到大家。3Q