【python隊列】生產者消費者模型
在軟件開發的過程中,經常碰到這樣的場景:
某些模塊負責生產數據,這些數據由其他模塊來負責處理(此處的模塊可能是:函數、線程、進程等)。產生數據的模塊稱為生產者,而處理數據的模塊稱為消費者。在生產者與消費者之間的緩沖區稱之為倉庫。生產者負責往倉庫運輸商品,而消費者負責從倉庫裏取出商品,這就構成了生產者消費者模式。
生產者消費者模式的優點
解耦
假設生產者和消費者分別是兩個線程。如果讓生產者直接調用消費者的某個方法,那麽生產者對於消費者就會產生依賴(也就是耦合)。如果未來消費者的代碼發生變化,可能會影響到生產者的代碼。而如果兩者都依賴於某個緩沖區,兩者之間不直接依賴,耦合也就相應降低了。
舉個例子,我們去郵局投遞信件,如果不使用郵箱(也就是緩沖區),你必須得把信直接交給郵遞員。有同學會說,直接給郵遞員不是挺簡單的嘛?其實不簡單,你必須 得認識誰是郵遞員,才能把信給他。這就產生了你和郵遞員之間的依賴(相當於生產者和消費者的強耦合)。萬一哪天郵遞員 換人了,你還要重新認識一下(相當於消費者變化導致修改生產者代碼)。而郵箱相對來說比較固定,你依賴它的成本就比較低(相當於和緩沖區之間的弱耦合)。
並發
由於生產者與消費者是兩個獨立的並發體,他們之間是用緩沖區通信的,生產者只需要往緩沖區裏丟數據,就可以繼續生產下一個數據,而消費者只需要從緩沖區拿數據即可,這樣就不會因為彼此的處理速度而發生阻塞。
繼續上面的例子,如果我們不使用郵箱,就得在郵局等郵遞員,直到他回來,把信件交給他,這期間我們啥事兒都不能幹(也就是生產者阻塞)。或者郵遞員得挨家挨戶問,誰要寄信(相當於消費者輪詢)。
支持忙閑不均
當生產者制造數據快的時候,消費者來不及處理,未處理的數據可以暫時存在緩沖區中,慢慢處理掉。而不至於因為消費者的性能造成數據丟失或影響生產者生產。
我們再拿寄信的例子,假設郵遞員一次只能帶走1000封信,萬一碰上情人節(或是聖誕節)送賀卡,需要寄出去的信超過了1000封,這時候郵箱這個緩沖區就派上用場了。郵遞員把來不及帶走的信暫存在郵箱中,等下次過來時再拿走。
舉個例子:
import threading,time,random,queue def product(num): '''生產者函數,負責向隊列裏放入數據''' c = threading.Thread(target = customer) # 創建消費者進程,並設置成守護進程,生產結束,消費結束 c.setDaemon(True) # 為什麽不用empty()判斷,因為消費比生產快,程序就會結束 c.start() count = 0 # 計數器 while count < 5: name = str(num)+str(count) # 生成不同的名字 q.put(name) # 放入隊列 print('服務員{} 有時間!'.format(name)) #打印提示 sec = random.randint(1,5) # 隨機延遲 time.sleep(sec) count += 1 # 增加計數 def customer(): '''消費者函數,從隊列取出數據''' while True: sec = random.randint(1,5) time.sleep(sec) name = q.get() # 從隊列取出數據,如果沒有數據,阻塞 print ('服務員{} 被叫走了!'.format(name)) q = queue.Queue() l = [] for i in range(2): p = threading.Thread(target = product, args=(i,)) l.append(p) p.start() for i in l: i.join()
消費者生產者型概念參考資料:
http://python.jobbole.com/87592/
【python隊列】生產者消費者模型