1. 程式人生 > >Python 頻繁請求問題: [Errno 104] Connection reset by peer

Python 頻繁請求問題: [Errno 104] Connection reset by peer

import requests

for url in urls:
    try:
        r = requests.get(url).content
        save_image(r)
    except Exception, e:
        print str(e)

然而在伺服器上執行時, 會發現每隔一些請求會報類似下面的錯誤:

HTTPConnectionPool(host='wx.qlogo.cn', port=80): Max retries exceeded with url: /mmopen/aTVWntpJLCAr2pichIUx8XMevb3SEbktTuLkxJLHWVTwGfkprKZ7rkEYDrKRr5icyDGIvU4iasoyRrqsffbe3UUQXT5EfMEbYKg/0
(Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)

這讓我想起了之前通過hacker news api 在自己電腦上請求一條一條資料時,為了加快處理速度,採用多程序的方式請求介面,也會出現這樣的錯誤。之前我是做了錯誤記錄直接pass了,這次情況下因為需要請求所有圖片,在google查了相關原因,大概是因為我頻繁請求,伺服器關閉了部門請求連線。參見這裡, 這裡, 這裡
所以我粗暴地這麼做,還真解決了:

import requests

for url in urls:
    for i in
range(10): try: r = requests.get(url).content except Exception, e: if i >= 9: do_some_log() else: time.sleep(0.5) else: time.sleep(0.1) break save_image(r)

程式碼很簡陋,但可以說明大體解決方案,在每個請求間增加延時可以減少大部分請求拒絕,但還是存在一些請求被拒絕的,所以在那部分請求被拒絕後,發起重試,在被拒10次後才善罷甘休(記錄到日誌)。在實際的請求中,加了0.1s的延遲被拒絕的情況明顯少了很多,被拒絕重試的次數最多為3次,最後成功地取下了全部圖片。