1. 程式人生 > >Python requests 多執行緒抓取 出現HTTPConnectionPool Max retires exceeded異常

Python requests 多執行緒抓取 出現HTTPConnectionPool Max retires exceeded異常

  • 場景:
    在做爬蟲專案或者是在傳送網路請求的時候,一般都會用到request模組,但是經常會遇到:
HTTPConnectionPool Max retires exceeded read time out的問題

查閱資料後發現,出現異常的原因是因為,requests在傳送http請求之後,並沒有關閉http連線導致,連線過多然後阻塞。
requests使用了urllib3庫,預設的http connection 是keep-alive的,requests中可以設定False關閉。

實際在python2中的程式碼使用

s = requests.session()
s.keep
_alive = False

Tips:
網上有的說是:

s = requests.session()
s.config['keep_alive'] = False

單我實際應用中報異常了。最後用第一個成功解決。

總結:
對於request庫的諸多應用,應該多熟悉操作。加深印象。

相關推薦

Python requests 執行 出現HTTPConnectionPool Max retires exceeded異常

場景: 在做爬蟲專案或者是在傳送網路請求的時候,一般都會用到request模組,但是經常會遇到: HTTPConnectionPool Max retires exceeded read t

python執行西刺和快站 高匿代理IP

  一開始是打算去抓取一些資料,但是總是訪問次數多了之後被封IP,所以做了一個專門做了個工具用來抓取在西刺和快站的高匿IP。   執行環境的話是在python3.5下執行的,需要requests庫   在製作的過程中也參考的以下網上其他人的做法,但是發現很大一部分都不是多執行緒去抓取有點浪費時間了,又或者

jenkinsapi出現HTTPConnectionPool Max retires exceeded異常

連接池 傳輸層 .org header cell res padding spa img python項目通過使用jenkinsapi遠程控制jenkins jenkinsapi使用的遠程連接方法是requests包,requests包又使用了urllib3,urllib3

python執行網頁內容並寫入MYSQL

自己的第一個多執行緒練習,中間踩了不少坑,程式寫的很渣,但是勉強能實現功能需求了 ,實際上抓取網頁是多執行緒在MYSQL寫入的時候是加了執行緒鎖的 ,實際上感覺就不是在多執行緒寫入了,不過作為第一個練習程式就這樣吧 ,後續部落格還會繼續更新優化版本。## htm

用JAVA實現簡單爬蟲執行

在迴圈爬取得基礎上進行多執行緒爬蟲,本程式中使用的三個執行緒,執行緒為實現runnable介面,並使用物件鎖防止併發共同去訪問同一個物件。讓三個執行緒同時爬去同一個url並且得到的新的url不重複。 import java.io.*; import j

Python 爬蟲執行美女圖片儲存到本地

Wanning 我們不是生產者,我們只是搬運工 資源來至於 ,程式碼基於Python 3.5.2 友情提醒:血氣方剛的騷年。請 謹慎 閱圖 !!! 謹慎 閱圖 !!! 謹慎 閱圖 !

資料探勘_執行

在這一篇文章中,我們主要來介紹多執行緒抓取資料。 多執行緒是以併發的方式執行的,在這裡要注意,Python的多執行緒程式只能執行在一個單核上以併發的方式執行,即便是多核的機器,所以說,使用多執行緒抓取可以極大地提高抓取效率下面我們以requests為例介紹多執行緒抓取,然後在

簡單的python3 urllib3 執行 圖片

#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @author: liukelin  [email protected] # 多執行緒 抓取 圖片 #  import urllib3 import string i

python使用執行表情包

使用多執行緒爬取資料可以顯著提高效率 編輯環境:pycharm 目標:爬取表情包庫的所有表情包 首先在同目錄下建一個images資料夾 程式碼如下 #cod

goLang 執行網頁資料

突然有個想法想用goLang快速的抓取網頁資料,於是想到了 多執行緒進行頁面抓取 package main import ( "fmt" "log" "net/http" "os" "st

使用pythonrequests、xpath和執行糗事百科的段子

 程式碼主要使用的python中的requests模組、xpath功能和threading多執行緒爬取了糗事百科中段子的內容、圖片和閱讀數、段子作者的性別,年齡和頭像。 # author: aspiring import requests from lxml import

python執行開啟的兩種方式(內含有event的應用,即安全的機制,類似於java的等待喚醒機制,不會出現執行之間的錯亂問題)

 event是類似於java中的等待喚醒機制,具體方法參照上一篇CSDN 下面來介紹開啟執行緒的第一種方式 #Filename:threading1.py #開啟執行緒的第一種方式 import threading import time event=threadin

使用threading,queue,fake_useragent,requests ,lxml,執行嗅事百科13頁文字資料,爬蟲案例

#author:huangtao # coding=utf-8 #多執行緒庫 from threading import Thread #佇列庫 from queue import Queue #請求庫 from fake_useragent import UserAgent

Python爬蟲入門教程 10-100 圖蟲網執行

寫在前面 經歷了一頓噼裡啪啦的操作之後,終於我把部落格寫到了第10篇,後面,慢慢的會涉及到更多的爬蟲模組,有人問scrapy 啥時候開始用,這個我預計要在30篇以後了吧,後面的套路依舊慢節奏的,所以莫著急了,100篇呢,預計4~5個月寫完,常見的反反爬後面也會寫的,還有fuck login類的內容。

Python爬蟲教程:圖蟲網執行

我們這次也玩點以前沒寫過的,使用python中的queue,也就是佇列 下面是我從別人那順來的一些解釋,基本爬蟲初期也就用到這麼多 Python學習資料或者需要程式碼、視訊加Python學習群:960410445 1. 初始化: classQueue.Queue(maxsize)FIFO

python執行網頁

#-*- encoding:utf8 -*- ''' Created on 2018年12月25日 @author: Administrator ''' from multiprocessing.dummy import Pool as pl import csv import requests fr

Python爬蟲入門教程 13-100 鬥圖啦表情包執行

寫在前面 今天在CSDN部落格,發現好多人寫爬蟲都在爬取一個叫做鬥圖啦的網站,裡面很多表情包,然後瞅了瞅,各種實現方式都有,今天我給你實現一個多執行緒版本的。關鍵技術點 aiohttp ,你可以看一下我前面的文章,然後在學習一下。 網站就不分析了,無非就是找到規律,拼接URL,匹配關鍵點,然後爬取。 擼

Python爬蟲入門教程 14-100 All IT eBooks執行

寫在前面 對一個爬蟲愛好者來說,或多或少都有這麼一點點的收集癖 ~ 發現好的圖片,發現好的書籍,發現各種能存放在電腦上的東西,都喜歡把它批量的爬取下來。 然後放著,是的,就這麼放著.......然後慢慢的遺忘掉..... 爬蟲分析 開啟網址 http://www.allitebooks.c

Python爬蟲教程:執行電子書

程式碼非常簡單,有咱們前面的教程做鋪墊,很少的程式碼就可以實現完整的功能了,最後把採集到的內容寫到  csv 檔案裡面,(  csv  是啥,你百度一下就知道了) 這段程式碼是  IO密集操作  我們採用  aiohttp  模

Python爬蟲入門教程 10-100 圖蟲網執行

寫在前面 經歷了一頓噼裡啪啦的操作之後,終於我把部落格寫到了第10篇,後面,慢慢的會涉及到更多的爬蟲模組,有人問 scrapy 啥時候開始用,這個我預計要在30篇以後了吧,後面的套路依舊慢節奏的,所以莫著急了,100篇呢,預計4~5個月寫完,常見的反反爬後面也會寫的,還有fuck login類的