2. 程式人生 > >聽說你的爬蟲又被封了？那是你不會這些

聽說你的爬蟲又被封了？那是你不會這些

阿新 • • 發佈：2018-12-29

目錄

   前言

   Spider

   Middleware

   瞎比比

前言

上一篇文章《爬蟲利器初體驗（1）》中，我們舉了個簡單的栗子，但是在真實的開發中這樣的爬蟲程式碼很容易就會被封掉。那麼怎麼樣才能避免這些事發生呢？這一這篇文章我們一起來學習，如何健壯我們的爬蟲程式碼。

學習Python中有不明白推薦加入交流裙
                號：735934841
                群裡有志同道合的小夥伴，互幫互助，
                群裡有免費的視訊學習教程和PDF！

Spider

當 start_urls 未被指定，會呼叫 start_requests() ,該方法可以用於在爬取資料之前，先進行模擬登陸。

import scrapy
from scrapy.http import Request
from scrapy.selector import Selector
from urllib.parse import urljoin
from doubanTop250.items import Doubantop250Item
class DoubanTop250Spider(scrapy.spiders.Spider):
    # 此處為上面留下的小坑
    name = "douban"
    # 設定允許爬取的域名
    allowed_domains = ["douban.com"]
    # header資訊
    my_header = {
        'Host': 'www.douban.com',
        'Referer': 'https://movie.douban.com',
    }
    # 表單需要提交的資料
    form_data = {'user': 'zone', 'pass': 'zone7'}
    # 自定義資訊，向下層響應(response)傳遞下去
    customer_data = {'key1': 'value1', 'key2': 'value2'}
    def start_requests(self):
        return [scrapy.FormRequest("https://movie.douban.com/login",
                                   formdata=self.form_data,  # 表單提交的資料
                                   headers=self.my_header,
                                   method='POST',  # GET or POST
                                   meta=self.customer_data,  # 自定義，向response傳遞資料
                                   errback=self.error_handle,
                                   callback=self.logged_in,
                                   # 如果需要多次提交表單，且url一樣，那麼就必須加此引數 dont_filter，防止被當成重複網頁過濾掉了
                                   dont_filter=True
                                   )]

    def logged_in(self, response):
        # 解析模擬登陸資料
        pass

    def parse(self, response):
        # 預設回撥函式
        pass

    def close(self,reson):
        # 關閉時呼叫
        pass

scrapy.FormRequest 部分引數解析

parse(self, response)

當 start_requests 沒有指定回撥函式時，預設回撥 parse(self,response) 方法。parse 負責處理 response 並返回處理的資料以及(/或)跟進的 URL。
該方法及其他的 Request 回撥函式必須返回一個包含 Request、dict 或 Item 的可迭代的物件。簡單的來說，所謂的回撥函式，其實就是告訴spider，在拿到了網站的 response 以後，交給誰來進行處理後面的頁面的解析工作。這個看上一篇文章的程式碼就可以知道。

Middleware

這裡說一下，關於自定義 middleware 需要重寫的幾個方法，可能你看完這一段長篇大論之後，還是懵逼的，沒關係，我也是這樣。不過，當你繼續往下看，看一個例項之後，你就會明白。

process_request(request, spider)

當每個request通過下載中介軟體時，該方法被呼叫。

process_request() 必須返回其中之一: 返回 None 、返回一個 Response 物件、返回一個 Request 物件或 raise IgnoreRequest 。

  • 如果其返回 None ，Scrapy將繼續處理該request，執行其他的中介軟體的相應方法，直到合適的下載器處理函式(download handler)被呼叫， 該request被執行(其response被下載)。

  • 如果其返回 Response 物件，Scrapy將不會呼叫 任何 其他的 process_request() 或 process_exception() 方法，或相應地下載函式； 其將返回該 response。 已安裝的中介軟體的 process_response() 方法則會在每個 response 返回時被呼叫。

  • 如果其返回 Request 物件，Scrapy則停止呼叫 process_request方法並重新排程返回的 request。當新返回的 request 被執行後， 相應地中介軟體鏈將會根據下載的 response 被呼叫。

如果其 raise 一個 IgnoreRequest 異常，則安裝的下載中介軟體的 process_exception() 方法會被呼叫。如果沒有任何一個方法處理該異常， 則 request 的errback(Request.errback) 方法會被呼叫。如果沒有程式碼處理丟擲的異常， 則該異常被忽略且不記錄(不同於其他異常那樣)。

引數:

  • request(Request 物件)–處理的 request

  • spider(Spider 物件)–該 request 對應的 spider

process_response(request, response, spider)

process_request() 必須返回以下之一: 返回一個 Response 物件、 返回一個 Request 物件或 raise 一個 IgnoreRequest 異常。

  • 如果其返回一個 Response (可以與傳入的response相同，也可以是全新的物件)， 該response會被在鏈中的其他中介軟體的 process_response() 方法處理。

  • 如果其返回一個 Request 物件，則中介軟體鏈停止， 返回的request會被重新排程下載。處理類似於 process_request() 返回request所做的那樣。

  • 如果其丟擲一個 IgnoreRequest 異常，則呼叫 request 的 errback( Request.errback)。 如果沒有程式碼處理丟擲的異常，則該異常被忽略且不記錄(不同於其他異常那樣)。

引數:

  • request (Request 物件) – response 所對應的 request

  • response (Response 物件) – 被處理的 response

  • spider (Spider 物件) – response 所對應的 spider

process_exception(request, exception, spider)

當下載處理器(download handler)或 process_request() (下載中介軟體)丟擲異常(包括IgnoreRequest異常)時，Scrapy呼叫 process_exception() 。

process_exception() 應該返回以下之一: 返回 None 、 一個 Response 物件、或者一個 Request 物件。

  • 如果其返回 None ，Scrapy將會繼續處理該異常，接著呼叫已安裝的其他中介軟體的 process_exception() 方法，直到所有中介軟體都被呼叫完畢，則呼叫預設的異常處理。

  • 如果其返回一個 Response 物件，則已安裝的中介軟體鏈的 process_response() 方法被呼叫。Scrapy將不會呼叫任何其他中介軟體的 process_exception() 方法。

  • 如果其返回一個 Request 物件， 則返回的request將會被重新呼叫下載。這將停止中介軟體的 process_exception() 方法執行，就如返回一個response的那樣。

引數:

  • request (是 Request 物件) – 產生異常的request

  • exception (Exception 物件) – 丟擲的異常

  • spider (Spider 物件) – request對應的spider

UserAgentMiddleware

多數情況下，網站都會通過 user-agent 來識別訪問的使用者是否為一臺機器，就像爬取豆瓣一樣，如果你沒有設定 user-agent 的話，就會被拒絕訪問。因此，我們只使用一個 user-agent 顯然是不夠的，因此，我們要想個辦法來設定隨機的 user-agent。於是，我們便可以自定義 UserAgentMiddleware 來解決這個問題。
首先，在 setting.py 中新增 user-agent ，如下：

MY_USER_AGENT = [
    'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',
    'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',
    'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',
    'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',
    'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6',
    'Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)',
    'Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1',
    'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)'
]

然後在 middlewares.py 中新增如下程式碼：

class MyUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent):
        self.user_agent = user_agent

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            user_agent=crawler.settings.get('MY_USER_AGENT')
        )

    def process_request(self, request, spider):
        agent = random.choice(self.user_agent)
        request.headers['User-Agent'] = agent

最後啟用這個 middleware ，在 setting.py 中修改 MyUserAgentMiddleware 的優先順序，如下：

DOWNLOADER_MIDDLEWARES = {
    # 首先禁止其原有的 UserAgentMiddleware
    'scrapy.downloadermiddleware.useragent.UserAgentMiddleware': None,
    'doubanTop250.middlewares.MyUserAgentMiddleware': 300,
    'doubanTop250.middlewares.ProxyMiddleware': 543,
}

ProxyMiddleware

除了要更改 user-agent 之外，我們還要使用 ip 代理來健壯我們的爬蟲程式。那麼，在 scrapy 中如何來設定我們的 ip 代理呢？
首先，在 setting.py 中新增如下程式碼，為代理 ip：

PROXIES = [
    "194.186.20.62:21231"
    , "66.153.222.162:54684"
    , "219.234.5.128:3128"
    , "117.114.149.66:53281"
    , "117.114.149.66:53281"
           ]

ip 來自西刺代理，不過好像好多沒用的代理。
然後在 middlewares.py 中新增如下程式碼：

from scrapy import signals
import random
class ProxyMiddleware(object):
    def __init__(self, ip):
        self.ip = ip

    @classmethod
    def from_crawler(cls, crawler):
        return cls(ip=crawler.settings.get('PROXIES'))

    def process_request(self, request, spider):
        ip = random.choice(self.ip)
        request.meta['proxy'] = ip

最後啟用這個 middleware ，在 setting.py 中修改 ProxyMiddleware 的優先順序，如下：

DOWNLOADER_MIDDLEWARES = {
    # 首先禁止其原有的 UserAgentMiddleware
    'scrapy.downloadermiddleware.useragent.UserAgentMiddleware': None,
    'doubanTop250.middlewares.MyUserAgentMiddleware': 300,
    'doubanTop250.middlewares.ProxyMiddleware': 543,
}

瞎比比

經過這些操作之後，你的程式碼等級就提升了一個高度了。說了那麼多，我們好像還沒有將我們抓取的資料儲存下來，那麼下一篇文章將會說說如何儲存我們的資料。

相關推薦

你的爬蟲又被封了？你真是蠢的可以！用這個不再擔心被封爬蟲！

  Spider 當 start_urls 未被指定，會呼叫 start_requests() ,該方法可以用於在爬取資料之前，先進行模擬登陸。 import scrapy from scrapy.http import Request from scrapy.selec

聽說你的爬蟲又被封了？那是你不會這些

目錄    前言    Spider    Middleware    瞎比比 前言 上一篇文章《爬蟲利器初體驗（1）》中，我們舉了個簡單的栗子，但是在真實的開發中這樣的爬蟲程式碼很容易就會被封掉

爬資料時？IP老被封？這樣就不會被封了！爬取西刺代理IP並驗證

胡蘿蔔醬最近在爬取知乎使用者資料，然而爬取不了一會，IP就被封了，所以去爬取了西刺代理IP來使用。       這裡爬取的是西刺國內高匿IP。我們需要的就是這一串數字。     進群：548377875&nbs

聽說你好不容易寫了個爬蟲，結果沒抓幾個就被封了？

近來知乎上如雨後春筍般冒出了大把大把的爬蟲教程。這是好事，學了 Python 基礎的同學們可以很輕鬆地搜出許多練手的例子。不過我不是針對誰，我是說網上絕大多數的爬蟲教程，其實都缺乏可操作性。 是的，也包括我自己寫過的。 主要原因有兩點： 教程是死的，網站是活的。

自從會了這招，我就再也不擔心我的爬蟲會被封了！搭建Cookies池

detail http containe TP bad pst pro ear tip 但是，這個接口在沒有登錄的情況下會有請求頻率檢測。如果一段時間內訪問太過頻繁，比如打開這個鏈接，一直不斷刷新，則會看到請求頻率過高的提示，如下圖所示。 一、本

玩爬蟲的時候記得偽裝成瀏覽器！這樣就不可能被封了哦！

    進群：960410445  即可獲取數十套PDF！ 如果我們在頁面上【右擊-顯示網頁原始碼】可以看到豎向有兩千多行的html標籤程式碼，你可以在這裡找到頁面上看到的各個職位的對應文字，比如按【ctrl+F】搜尋“華夏高科”就可以找到它。

爬蟲老是被封IP？看我大Python搭建高匿代理池！封IP你覺得可能嗎

0x01 寫在前面常聽到很多人抱怨自己的IP因爬蟲次數太多而被網站遮蔽，不得不頻繁使用各種代理IP，卻又因為網上的公開代理大部分都是不能使用，而又要花錢花精力去申請VIP代理，幾番波折又遭遮蔽。特此寫一篇如何利用Python搭建代理池的文章，以降低時間及精力成本，實現自動化獲

聽說你的資源被盜用了，那你知道 Nginx 怎麼防盜鏈嗎？

上一篇文章講了 [Nginx 中的變數和執行原理](https://iziyang.github.io/2020/06/09/7-nginx/)，下面就來說一個主要提供變數並修改變數的值的模組，也就是我們要講的防盜鏈模組：referer 模組。 ## 簡單有效的防盜鏈手段 ### 場景 如果做過個人站

微信沒有好友怎麽解封 微信被封了好友不幫忙解封還有其他方法解封嗎無好友解封

方法 手機號 點擊 str ron 來看 tps 登錄 怎樣 1、自助清除登陸或功用捆綁 <p "="">有許多小夥伴表示自己微信賬號被封禁了，可是裏邊沒有老友，驗證不了。微信被封是沒有提示的,只要功用的限制。那麽微信無老友怎樣解封呢，快快隨小編一同來看看下面的

產品經理又被打了！看來拳擊是產品經理的必備技能

哈哈哈，我就說產品經理不好做吧。這一次可能是被程式設計師打，下一次甚至可能會被自己的下屬打得眼鏡都爆了，來看看這個朋友圈曝出的訊息。 我覺得吧，就事而論雙方都沒有什麼錯，就是態度上相互看對方不順眼。 通過曝光的聊天截圖我們可以看到，雙方的矛盾點主要就是對新推專案完善程度的見解不同。產

女程式設計師又被黑了？網友：這是我見過被黑的最慘的一次，沒有之一

1.這程式碼看的我一臉懵逼，直播寫程式碼月入百萬有沒有！！！   2.嘖嘖，身材好的女程式設計師上班坐姿是個問題   3.這個妹子是來面試C++的，我要錄取他嗎？線上等！！！   4.不過女程式設計師優勢也是很明顯的，如下圖，哈

微信域名被封了，要怎麼解封呢？分享一些方法和小技巧

如果域名被微信封了，如何解封呢？ 如果被封，解封方法如下：1、進入微信官網手動解封，選擇在微信頁面右上角的“幫助與反饋”選項並點選進入；2、輸入需要填寫的各個號碼，點選“傳送驗證碼”，並在新的頁面裡輸入驗證碼並確認“提請要求”，這樣就可以解除限制了；3、最好在解除限制後的24小時以後再登入，

用Python搭建一個簡單的代理池！經理再也不用擔心我的IP被封了

其實每次爬東西的時候，特怕IP被封，所以每次都要把時間延遲設定得長一點... 這次用Python搭建一個簡單的代理池。獲取代理IP，然後驗證其有效性。 不過結果好像不是很理想，為什麼西刺代理的高匿代理都能用？？？ 不是說免費代理不好使嗎？真的是黑人問號臉... / 01 / 代理獲取

有關CSS的overflow和border-radius的那些事，你的圓角被覆蓋了嗎？

事件起因 最初是網友的一個提問，來自於我的知識星球社群： 說實話，不得不佩服這個網友的眼力，這麼小的細節都能發現。不過這也正是 FineUI 一直前進的動力，來自社群的監督和促進。 從截圖上看，貌似圓角部分被內部節點覆蓋了。換句話說：外部的圓角沒有截斷內部的元素！ 由於這位網友測試的是

[踩坑] IP 被封了

[踩坑] IP 被封了 前言： 本來是不打算記錄平時學習什麼技術或者遇到什麼技術問題、怎麼解決的 這類文章的，因為感覺寫這種文章意義不大，而且標題如果命名不當，或者內容不合適還會浪費檢索資料者的時間。但最近發現，有時即便上次解決的問題，下次出現也許早就忘掉解決方案了（比如上次 QT5 導外部 QChart

#程式設計師又被黑了！這次怕是最慘的一次！這是25歲還是52歲？

網上有很多關於程式設計師的自黑段子，還有很多網友都給程式設計師戴上了一些標籤，比如禿頭、單身、邋遢、宅等，其實真正說起來，很多都是程式設計師在自黑的而已，卻不想成為了眾多網友的調侃物件。其實，程式設計師也是人，他們並沒有很多人想象中的那麼高大上。 如果有想學習java的程式設計師，可來我們的ja

2018年家庭財富人均近19.4萬！我們又被平均了？70%人稱拖後腿

中國家庭人均財產有多少錢？前幾天一份調查資料顯示，2018年家庭人均財產近19.4萬，其中城鄉差別較為顯著。房產淨值是家庭財產最看重的組成，在我國家庭的人均財產中，房產佔總資產近七成。 2018年家庭財富人均近19.4萬！我們又被平均了？70%人稱拖後腿 該報告顯示，2017年房產淨值佔

這樣用信用卡就好了?其實你這是被坑了

　　很多朋友申請信用卡的初衷主要是為了方便自己有更多的資金週轉。但是，卻發現辦了信用卡之後，自己的資金壓力越來越大了，日子更加難過了。其實，有可能是因為你踩到了信用卡的坑，一步一步把自己陷進去了。今天就讓我們一起看看信用卡都有哪些坑不能踩呢? 　　一、經常提現信用卡 　　比起線上支付，

又被拒了，心情不好

文章被拒，心情不好 今天導師給我發了文章的審稿意見，看了之後簡直可以用無語來形容此時的心情。兩位審稿人給出的意見，讓我哭笑不得，一看就不是做著一塊的。上次被拒的時候也只是一個接受，一個拒，而且還是SCI-3區的期刊，這次倒好四區的期刊居然評審這麼慘。導師說，不

阿里雲伺服器的80埠被封了麼？

前段時間申請了一個阿里雲的帳號，搗鼓了幾天，把jenkins伺服器從公司機房搬到上面，算是用上雲服務了：）但是，碰到一個問題，80埠不能用，使用jenkins預設埠8080，可以訪問，改為80埠就不能使用了。這個問題以前有遇到過，公司接入的商務光纖是有提供固定IP的，但是