二十九、scrapy構造併發送請求
阿新 • • 發佈：2018-12-22
1. 翻頁請求的思路
對於要提取如下圖中所有頁面上的資料該怎麼辦？
- 回顧requests模組是如何實現翻頁請求的：
（1）找到下一頁的URL地址
（2）呼叫requests.get(url)呼叫requests.get(url)
- scrapy實現翻頁的思路：
（1）找到下一頁的url地址
（2）構造url地址的請求物件，傳遞給引擎
2. 構造Request物件，併發送請求
2.1 實現方法
（1）確定url地址
（2） 構造請求，scrapy.Request(url,callback)
callback：指定解析函式名稱，表示該請求返回的響應使用哪一個函式進行解析
（3）把請求交給引擎：yield scrapy.Request(url,callback)
2.2 騰訊招聘爬蟲
通過爬取騰訊招聘的頁面的招聘資訊,學習如何實現翻頁請求
地址：http://hr.tencent.com/position.php
思路分析：
（1）獲取首頁的資料
（2）尋找下一頁的地址，進行翻頁，獲取資料
注意：
- 可以在settings中設定ROBOTS協議
# False表示忽略網站的robots.txt協議，預設為True
ROBOTSTXT_OBEY = - 可以在settings中設定User-Agent：
# scrapy傳送的每一個請求的預設UA都是設定的這個User-Agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
2.3 程式碼實現
在爬蟲檔案的parse方法中：
# 提取下一頁的href並拼接url
next_url = 'https://hr.tencent.com/' 2.4 scrapy.Request的更多引數
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
引數解釋
中括號裡的引數為可選引數
- callback：表示當前的url的響應交給哪個函式去處理
- meta：實現資料在不同的解析函式中傳遞，meta預設帶有部分資料，比如下載延遲，請求深度等
- dont_filter:預設為False，會過濾請求的url地址，即請求過的url地址不會繼續被請求，對需要重複請求的url地址可以把它設定為Ture，比如貼吧的翻頁請求，頁面的資料總是在變化;start_urls中的地址會被反覆請求，否則程式不會啟動
- method：指定POST或GET請求
- headers：接收一個字典，其中不包括cookies
- cookies：接收一個字典，專門放置cookies
- body：接收一個字典，為POST的資料
3. meta引數的使用
meta的作用：meta可以實現資料在不同的解析函式中的傳遞
在爬蟲檔案的parse方法中，提取詳情頁之前增加callback指定的parse_detail函式：
def parse(self,response):
...
yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
...
def parse_detail(self,response):
#獲取之前傳入的item
item = resposne.meta["item"]
特別注意
- meta引數是一個字典
- meta字典中有一個固定的鍵proxy，表示代理ip
4. BaseItem的使用
items.py中定義BaseItem
4.1 BaseItem能夠做什麼
-
定義item即提前規劃好哪些欄位需要抓取，防止手誤；配合註釋一起可以清晰的知道要抓取哪些欄位；沒有定義的欄位不能抓取；在欄位不多的情況下很少使用；可以在爬蟲中自定義資料字典來代替
-
使用scrapy的一些特定元件需要BaseItem做支援，如scrapy的ImagesPipeline管道類，百度搜索瞭解更多
-
在python大多數框架中，大多數框架都會自定義自己的資料型別(在python自帶的資料結構基礎上進行封裝)，目的是增加功能，增加自定義異常
如response.xpath()的返回物件具有extract()等方法
4.2 定義BaseItem
在items.py檔案中定義要提取的欄位：
class TencentItem(scrapy.Item):
name = scrapy.Field() # 招聘標題
address = scrapy.Field() # 工作地址
time = scrapy.Field() # 釋出時間
job_content = scrapy.Field() # 工作職責
4.3 使用BaseItem
BaseItem頂以後需要在爬蟲中匯入並且例項化，之後的使用方法和使用字典相同
from Tencent.items import TencentItem # 匯入Item，注意路徑
...
def parse_detail(self, response):
meta_dict = response.meta # 獲取傳入的meta
item = TencentItem() # 例項化後可直接使用
item['name'] = meta_dict['name']
item['address'] = meta_dict['address']
item['time'] = meta_dict['time']
# 加入崗位職責資料
item['job_content'] = response.xpath('//ul[@class="squareli"]/li/text()').extract()
print(item)
4.4 注意：
- from myspider.items import ItcastItem這一行程式碼中 注意item的正確匯入路徑，忽略pycharm標記的錯誤
- python中的匯入路徑要訣：從哪裡開始執行，就從哪裡開始匯入
參考程式碼
Tencent/spiders/tencent.py
import scrapy
from Tencent.items import TencentItem # 匯入Item，注意路徑
class TencentSpider(scrapy.Spider):
name = 'tencent'
allowed_domains = ['hr.tencent.com']
start_urls = ['http://hr.tencent.com/position.php']
def parse(self, response):
tr_list = response.xpath('//*[@class="tablelist"]//tr')[1:-1]
for tr in tr_list:
meta_dict = {}
meta_dict['name'] = tr.xpath('.//a[1]/text()').extract_first()
meta_dict['address'] = tr.xpath('./td[4]/text()').extract_first()
meta_dict['time'] = tr.xpath('./td[5]/text()').extract_first()
meta_dict['href'] = tr.xpath('.//a[1]/@href').extract_first()
detail_url = 'https://hr.tencent.com/' + meta_dict['href']
yield scrapy.Request(detail_url, callback=self.parse_detail, meta=meta_dict)
# 提取下一頁的href並拼接url
next_url = 'https://hr.tencent.com/' + response.xpath('//a[text()="下一頁"]/@href').extract_first()
# 判斷是否是最後一頁
if response.xpath('//a[text()="下一頁"]/@href').extract_first() != 'javascript:;':
# 構造scrapy.Request物件，並yield給引擎
# 利用callback引數指定該Request物件之後獲取的響應用哪個函式進行解析
# 利用meta引數將本函式中提取的資料傳遞給callback指定的函式
# 注意這裡是yield
yield scrapy.Request(next_url, callback=self.parse)
def parse_detail(self,response):
meta_dict = response.meta # 獲取傳入的meta
item = TencentItem() # 例項化後可直接使用
item['name'] = meta_dict['name']
item['address'] = meta_dict['address']
item['time'] = meta_dict['time']
# 加入崗位職責資料
item['job_content'] = response.xpath('//ul[@class="squareli"]/li/text()').extract()
print(item)
Tencent/items.py
import scrapy
class TencentItem(scrapy.Item):
name = scrapy.Field() # 招聘標題
address = scrapy.Field() # 工作地址
time = scrapy.Field() # 釋出時間
job_content = scrapy.Field() # 工作職責
Tencent/settings.py
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
ROBOTSTXT_OBEY = False