1. 程式人生 > >retrying模塊的學習

retrying模塊的學習

rand 出現 false odi incr att rap max 簡單的

retrying模塊的學習

我們在寫爬蟲的過程中,經常遇到爬取失敗的情況,這個時候我們一般會通過try塊去進行重試,但是每次都寫那麽一堆try塊,真的是太麻煩,所以今天就來說一個比較pythonic的模塊,retrying.

安裝

retring模塊的安裝很簡單直接用匹配安裝即可。

pip install retrying

使用

retring模塊通過裝飾器的形式來進行重試操作的,首先我們看一個簡單的例子

from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
    print("開始重試")
    raise NameError

if __name__ == ‘__main__‘:
    run()

上面的代碼幹了哪些事呢,首先導入retring的retry模塊
然後裝飾一個run函數,然後調用run,函數內容很簡單就是通過raise拋出一個異常,執行該代碼我們發現。程序打印了五次開始重試,最後一次拋出異常,NameError。

到這裏我們可以感受到重試了,就是這麽簡單的代碼,就完成了五次重試,同時這五次重試的間隔時間也是不同的。
如果想嘗試10次就把上面的stop_max_attempt_number=5,改成10即可,到這裏就可以解釋retry裝飾器的參數了
stop_max_attempt_number:最大重試次數,超過這個次數會停止重試,並報異常。
wait_random_min:隨機等待最小時間。
wait_random_max:隨機等待最大時間。
好了retry的使用就是這麽簡單,在需要重試的函數上面加個裝飾器就好了。

關鍵是裝飾器裏的參數的使用,下面列舉了retrying的參數。

如果不寫參數將會一直重試.

stop_max_attempt_number:在停止之前嘗試的最大次數,最後一次如果還是有異常則會拋出異常,停止運行,默認為5次

@retry(stop_max_attempt_number=5)
def run():
    print("開始重試")
    raise NameError

if __name__ == ‘__main__‘:
    run()

強調總次數。
stop_max_delay:最大延遲時間,大概意思就是:如果調用的函數出現異常,那麽就會重復調用這個函數,最大調用時間,默認為100毫秒

from retrying import retry


@retry(stop_max_delay=5000)
def run():
    print("開始重試")
    raise NameError
if __name__ == ‘__main__‘:
    run()

會重試5秒鐘,強調總時間。
wait_fixed:兩次調用方法期間停留時長, 如果出現異常則會一直重復調用,默認 1000毫秒

from retrying import retry
@retry(wait_fixed=2000)
def run():
    print("開始重試")
    raise NameError

if __name__ == ‘__main__‘:
    run()

強調間隔時間。
wait_random_min:在兩次調用方法停留時長,停留最短時間,默認為0

wait_random_max:在兩次調用方法停留時長,停留最長時間,默認為1000毫秒

wait_incrementing_increment:每調用一次則會增加的時長,默認 100毫秒

wait_exponential_multiplierwait_exponential_max:以指數的形式產生兩次retrying之間的停留時間,產生的值為2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已經retry的次數,如果產生的這個值超過了wait_exponential_max的大小,那麽之後兩個retrying之間的停留值都為wait_exponential_max

retry_on_exception: 指定一個函數,如果此函數返回指定異常,則會重試,如果不是指定的異常則會退出


from retrying import retry


def run2(exception):
    return isinstance(exception, ZeroDivisionError)


@retry(retry_on_exception=run2)
def run():
    print("開始重試")
    a = 1 / 0


if __name__ == ‘__main__‘:
    run()

retry_on_result:指定一個函數,如果指定的函數返回True,則重試,否則拋出異常退出

from retrying import retry


def run2(r):
    return isinstance(r, int)


@retry(retry_on_result=run2)
def run():
    print("開始重試")
    a = 1
    return a


if __name__ == ‘__main__‘:
    run()

wrap_exception:參數設置為True/False,如果指定的異常類型,包裹在RetryError中,會看到RetryError和程序拋的Exception error

stop_func: 每次拋出異常時都會執行的函數,如果和stop_max_delaystop_max_attempt_number配合使用,則後兩者會失效

指定的stop_func會有兩個參數:attempts, delay

wait_func:和stop_func用法差不多,不多描述

retrying模塊的學習