1. 程式人生 > >【python隊列】生產者消費者模型

【python隊列】生產者消費者模型

生產者消費者模式

生產者消費者模型:

在軟件開發的過程中,經常碰到這樣的場景:
某些模塊負責生產數據,這些數據由其他模塊來負責處理(此處的模塊可能是:函數、線程、進程等)。產生數據的模塊稱為生產者,而處理數據的模塊稱為消費者。在生產者與消費者之間的緩沖區稱之為倉庫。生產者負責往倉庫運輸商品,而消費者負責從倉庫裏取出商品,這就構成了生產者消費者模式。

技術分享圖片

生產者消費者模式的優點

  • 解耦
    假設生產者和消費者分別是兩個線程。如果讓生產者直接調用消費者的某個方法,那麽生產者對於消費者就會產生依賴(也就是耦合)。如果未來消費者的代碼發生變化,可能會影響到生產者的代碼。而如果兩者都依賴於某個緩沖區,兩者之間不直接依賴,耦合也就相應降低了。

舉個例子,我們去郵局投遞信件,如果不使用郵箱(也就是緩沖區),你必須得把信直接交給郵遞員。有同學會說,直接給郵遞員不是挺簡單的嘛?其實不簡單,你必須 得認識誰是郵遞員,才能把信給他。這就產生了你和郵遞員之間的依賴(相當於生產者和消費者的強耦合)。萬一哪天郵遞員 換人了,你還要重新認識一下(相當於消費者變化導致修改生產者代碼)。而郵箱相對來說比較固定,你依賴它的成本就比較低(相當於和緩沖區之間的弱耦合)。

  • 並發
    由於生產者與消費者是兩個獨立的並發體,他們之間是用緩沖區通信的,生產者只需要往緩沖區裏丟數據,就可以繼續生產下一個數據,而消費者只需要從緩沖區拿數據即可,這樣就不會因為彼此的處理速度而發生阻塞。

繼續上面的例子,如果我們不使用郵箱,就得在郵局等郵遞員,直到他回來,把信件交給他,這期間我們啥事兒都不能幹(也就是生產者阻塞)。或者郵遞員得挨家挨戶問,誰要寄信(相當於消費者輪詢)。

  • 支持忙閑不均
    當生產者制造數據快的時候,消費者來不及處理,未處理的數據可以暫時存在緩沖區中,慢慢處理掉。而不至於因為消費者的性能造成數據丟失或影響生產者生產。

我們再拿寄信的例子,假設郵遞員一次只能帶走1000封信,萬一碰上情人節(或是聖誕節)送賀卡,需要寄出去的信超過了1000封,這時候郵箱這個緩沖區就派上用場了。郵遞員把來不及帶走的信暫存在郵箱中,等下次過來時再拿走。

舉個例子:

import threading,time,random,queue
def product(num):
 '''生產者函數,負責向隊列裏放入數據'''
 c = threading.Thread(target = customer)           # 創建消費者進程,並設置成守護進程,生產結束,消費結束
 c.setDaemon(True)   # 為什麽不用empty()判斷,因為消費比生產快,程序就會結束
 c.start()

 count = 0          # 計數器
 while count < 5:
  name = str(num)+str(count)        # 生成不同的名字
  q.put(name)                       # 放入隊列
  print('服務員{} 有時間!'.format(name))      #打印提示
  sec = random.randint(1,5)         # 隨機延遲
  time.sleep(sec)                   
  count += 1                        # 增加計數

def customer():
 '''消費者函數,從隊列取出數據'''
 while True:
  sec = random.randint(1,5)
  time.sleep(sec)
  name = q.get()                # 從隊列取出數據,如果沒有數據,阻塞
  print ('服務員{} 被叫走了!'.format(name))

q = queue.Queue()
l = []
for i in range(2):
 p = threading.Thread(target = product, args=(i,))
 l.append(p)
 p.start()

for i in l:
 i.join()

消費者生產者型概念參考資料:

http://python.jobbole.com/87592/

【python隊列】生產者消費者模型