1. 程式人生 > >scrapy中Post不成功的解決辦法

scrapy中Post不成功的解決辦法

有時候在爬取資料分析目標網站的過成功,會發現F12中,請求的資料型別為post,傳送的資料位FormData,可是自己已經按照post請求的FormRequest做了請求,data資料也按照F12中的格式填寫完畢了。但請求的結果要不就請求不到,一直堵塞著,要不就是無論換成多少頁數,返回的資料都是第一頁的資料。
當有這種情況的時候,只需要一步驗證就能解決。
我遇到的這個就是此類問題
那就是用postman或者在瀏覽器中直接重構url,將formRequest的引數全都帶入到初始的url中,當成是一個get的請求訪問。這個時候你就會發現,原本post請求不到的資料或者錯誤的資料,居然正常了。
在這裡插入圖片描述
看,重構過url後,直接訪問就跳轉到了先關的數碼頁面裡了。

希望這個小技巧能幫助大家。