1. 問題背景

• 在訪問如下這種論壇網頁時，經常會根據頁碼訪問接下來的頁面。很多時候，會將pageIdx帶入帶request中的meta中，以便將這個page資料傳遞下去，但是基於scrapy的yield機制，不同的寫法，會讓帶進去的page不同。
  

2. 例項分析

• 程式碼

# -*- coding: utf-8 -*-
import scrapy


class MyclawerSpider(scrapy.Spider):
    name = 'myClawer'
    allowed_domains = ['bbs.fengniao.com']
    start_urls = ['http://bbs.fengniao.com/'
 
]

    def start_requests(self):
        # 全域性變數
        pageDict = {'page': 99}
        pageGlobal = 99

        # 關注 pageIdx    迴圈內的變數
        for pageIdx in range(1,10):

            # 關注 pageDict   迴圈外的變數，相對於迴圈來說，是全域性變數(可變)
            pageDict['page'] = pageIdx

            # 關注 pageGlobal   迴圈外的變數，相對於迴圈來說，是全域性變數(不可變)
 

            pageGlobal = pageIdx

            # 關注 pageTemp   迴圈外的變數，相對於迴圈來說，是區域性變數，每輪都會建立一個單獨的變數
            pageTemp = pageIdx

            yield scrapy.Request(
                url=f'http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page={pageIdx}'
 
,
                meta={'pageIdx': pageIdx, 'pageTemp': pageTemp, 'pageGlobal': pageGlobal, 'pageDict': pageDict, 'dont_redirect': True},
                callback=self.parse,
                errback=self.error
            )

    def parse(self, response):
        print(f"parse url={response.url}, status={response.status}, meta={response.meta}")

    def error(self, response):
        pass

• 輸出結果：

parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=1, status=200, meta={'pageIdx': 1, 'pageTemp': 1, 'pageGlobal': 1, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.254000186920166}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=4, status=200, meta={'pageIdx': 4, 'pageTemp': 4, 'pageGlobal': 4, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.2779998779296875}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=6, status=200, meta={'pageIdx': 6, 'pageTemp': 6, 'pageGlobal': 6, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.2890002727508545}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=7, status=200, meta={'pageIdx': 7, 'pageTemp': 7, 'pageGlobal': 7, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.30900001525878906}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=2, status=200, meta={'pageIdx': 2, 'pageTemp': 2, 'pageGlobal': 2, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3300001621246338}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=8, status=200, meta={'pageIdx': 8, 'pageTemp': 8, 'pageGlobal': 8, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3259999752044678}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=5, status=200, meta={'pageIdx': 5, 'pageTemp': 5, 'pageGlobal': 5, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3320000171661377}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=3, status=200, meta={'pageIdx': 3, 'pageTemp': 3, 'pageGlobal': 3, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3320000171661377}
parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=9, status=200, meta={'pageIdx': 9, 'pageTemp': 9, 'pageGlobal': 9, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.2590000629425049}

• 分析區別：
  
• 從上面的結果可以看出：
  
  • 全域性變數（可變）：page = 9 記錄的是迴圈最後的一個值。
  • 全部變數（不可變）：page = 1，2…….9，每一輪的賦值，其實事實上是產生了一個新的變數。
  • 區域性變數：page = 1，2…….9，每一輪的賦值，產生了一個新的變數.
• 原因就在於yield是一個生成器，每次取下一個請求時，就會去找對應的變數。