1. 程式人生 > >scrapy框架之post傳輸數據錯誤:TypeError: to_bytes must receive a unicode, str or bytes object, got int

scrapy框架之post傳輸數據錯誤:TypeError: to_bytes must receive a unicode, str or bytes object, got int

pos data 簡單 錯誤 soc spi ack erro http

錯誤名:TypeError: to_bytes must receive a unicode, str or bytes object, got int

錯誤翻譯:類型錯誤:to_bytes必須接收unicode、str或bytes對象,得到int to_bytes也就是需要傳給服務器的二進制數據

技術分享圖片

今天我企圖用scrapy爬蟲框架爬取阿裏巴巴以及百度和騰訊的招聘網站的職位信息,在簡單的進行數據分析。但是當我在寫框架代碼時,遇到了一個錯誤,我找了很久,最後發現只是一個小小的錯誤,就是字符串的格式出錯了,我足足弄了兩個小時。唉,真是想罵自己啊。。。

先來上我的錯誤代碼

 1
from lxml import etree 2 import scrapy 3 from scrapy.linkextractors import LinkExtractor 4 from scrapy.spiders import Rule,CrawlSpider 5 from alibaba.items import AlibabaItem 6 import json 7 8 9 10 11 12 class AlibabaSpider(CrawlSpider): 13 name = "alibabahr" 14 allowed_domains = ["
alibaba.com"] 15 16 def __init__(self,pageIndex):
      #由於阿裏巴巴的限制,他們將職位信息放在了一個json文件中,用js進行數據傳輸,但是也沒有關系,還是一樣可以抓取到 下面是json數據抓取的鏈接URL
17 self.start_urls = ["https://job.alibaba.com/zhaopin/socialPositionList/doList.json"] 18 self.pageIndex = pageIndex #這是需要抓取的頁數 19 20 21 22
def start_requests(self): 23 for page in range(int(self.pageIndex)): 24 yield scrapy.FormRequest( 25 url = self.start_urls[0], 26 callback = self.parse, 27 formdata = {"pageIndex":page,"pageSize":10}, #因為阿裏的一個json文件中,是放10個職位的信息,也就是一頁的信息,官網上是一
            #頁10個職位信息 大家看到那個"pageIndex":page,"pageSize":10 了嗎,那個value值在這裏是一個int型的數據,但是在進行post數據傳輸時,scrapy.FormRuquest
            #這個方法默認是傳輸字符串的 所以就會報那個錯誤,我們只需要把那個10和page變成str數據結構就行了。
           #將最後那句改成 :
formdata = {"pageIndex":str(page),"pageSize":"10"}, 就可以了
28             )
29 
30     def parse(self, response):
31         content = json.loads(response.body)[returnValue]
32         pageIndex = content[pageIndex]
33         jobDates = content[datas]
34         print("pageIndex:" + str(pageIndex))
35         print(jobDates)

改正錯誤之後,顯示的信息是真確的,如圖:

技術分享圖片

scrapy框架之post傳輸數據錯誤:TypeError: to_bytes must receive a unicode, str or bytes object, got int