Python3 從零單排29_協程
1.並發的本質:切換+保存狀態
cpu正在運行一個任務,會在兩種情況下切走去執行其他的任務(切換由操作系統強制控制)
1.該任務發生了阻塞
2.該任務計算的時間過長或有一個優先級更高的程序替代了它
第二種情況並不能提升效率,只是為了讓cpu能夠雨露均沾,實現看起來所有任務都被“同時”執行的效果,如果多個任務都是純計算的,這種切換反而會降低效率。
yield本身就是一種在單線程下可以保存任務運行狀態的方法:
1 yield可以保存狀態,yield的狀態保存與操作系統的保存線程狀態很像,但是yield是代碼級別控制的,更輕量級
2 send可以把一個函數的結果傳給另外一個函數,以此實現單線程內程序之間的切換
單純地切換反而會降低運行效率:
1 #串行執行 2 import time 3 def consumer(res): 4 # 任務1:接收數據,處理數據 5 pass 6 7 def producer(): 8 #任務2:生產數據 9 res=[] 10 for i in range(10000000): 11 res.append(i) 12 return res 13 14 start=time.time() 15 res=producer() 16 consumer(res) #寫成consumer(producer())會降低執行效率 17 stop=time.time()View Code18 print(stop-start) #1.29567289352417 19 20 21 #基於yield並發執行 22 import time 23 def consumer(): 24 #任務1:接收數據,處理數據 25 while True: 26 x=yield 27 28 def producer(): 29 # 任務2:生產數據 30 g=consumer() 31 next(g) 32 for i in range(10000000): 33 g.send(i) 34 35 start=time.time()36 #基於yield保存狀態,實現兩個任務直接來回切換,即並發的效果 37 #PS:如果每個任務中都加上打印,那麽明顯地看到兩個任務的打印是你一次我一次,即並發執行的. 38 producer() 39 stop=time.time() 40 print(stop-start) #1.3700881004333496
第一種情況的切換。在任務一遇到io情況下,切到任務二去執行,這樣就可以利用任務一阻塞的時間完成任務二的計算,效率的提升就在於此。yield並不能實現遇到io切換。
1 import time 2 def consumer(): 3 # 任務1:接收數據,處理數據 4 while True: 5 x=yield 6 7 def producer(): 8 # 任務2:生產數據 9 g=consumer() 10 next(g) 11 for i in range(10000000): 12 g.send(i) 13 time.sleep(2) 14 15 start=time.time() 16 producer() #並發執行,但是任務producer遇到io就會阻塞住,並不會切到該線程內的其他任務去執行 17 18 stop=time.time() 19 print(stop-start)View Code
2.協程的概念
單線程下,不可避免程序中出現io操作,但如果能在程序中(即用戶程序級別,而非操作系統級別)控制單線程下的多個任務
能在一個任務遇到io阻塞時就切換到另外一個任務去計算,這樣就保證了該線程能夠最大限度地處於就緒態,即隨時都可以被cpu執行的狀態,
相當於我們在用戶程序級別將自己的io操作最大限度地隱藏起來,從而可以迷惑操作系統,讓其看到:該線程好像是一直在計算,io比較少,
從而更多的將cpu的執行權限分配給我們的線程。
協程的本質就是在單線程下,由用戶自己控制一個任務遇到io阻塞了就切換另外一個任務去執行,以此來提升效率。
為了實現它,我們需要找尋一種可以同時滿足以下條件的解決方案:
1. 可以控制多個任務之間的切換,切換之前將任務的狀態保存下來,以便重新運行時,可以基於暫停的位置繼續執行。
2. 作為1的補充:可以檢測io操作,在遇到io操作的情況下才發生切換
協程:是單線程下的並發,又稱微線程,纖程。協程是一種用戶態的輕量級線程,即協程是由用戶程序自己控制調度的。
1. python的線程屬於內核級別的,即由操作系統控制調度(如單線程遇到io或執行時間過長就會被迫交出cpu執行權限,切換其他線程運行)
2. 單線程內開啟協程,一旦遇到io,就會從應用程序級別(而非操作系統)控制切換,以此來提升效率(!!!非io操作的切換與效率無關)
對比操作系統控制線程的切換,用戶在單線程內控制協程的切換:
優點:
1. 協程的切換開銷更小,屬於程序級別的切換,操作系統完全感知不到,因而更加輕量級
2. 單線程內就可以實現並發的效果,最大限度地利用cpu
缺點:
1. 協程的本質是單線程下,無法利用多核,可以是一個程序開啟多個進程,每個進程內開啟多個線程,每個線程內開啟協程
2. 協程指的是單個線程,因而一旦協程出現阻塞,將會阻塞整個線程
總結協程特點:
必須在只有一個單線程裏實現並發
修改共享數據不需加鎖
用戶程序裏自己保存多個控制流的上下文棧
附加:一個協程遇到IO操作自動切換到其它協程(如何實現檢測IO,yield、greenlet都無法實現,就用到了gevent模塊(select機制))
3.greenlet模塊
單純的切換(在沒有io的情況下或者沒有重復開辟內存空間的操作),反而會降低程序的執行速度,
greenlet只是提供了一種比generator更便捷的切換方式,當切到一個任務執行時如果遇到io,那就原地阻塞,仍沒解決遇到IO自動切換來提升效率的問題。
1 from greenlet import greenlet 2 3 4 def sayhi(name): 5 print("%s say hi 1" % name) 6 g2.switch("xg") 7 print("%s say hi 2" % name) 8 g2.switch("xg") 9 10 11 def sayhello(name): 12 print("%s say hello 1" % name) 13 g1.switch() 14 print("%s say hello 2" % name) 15 16 17 g1 = greenlet(sayhi) 18 g2 = greenlet(sayhello) 19 g1.switch("miller")View Code
4.Gevent模塊
Gevent 是第三方庫,可通過gevent實現並發同步或異步編程,在gevent中用到的主要模式是Greenlet, 它是以C擴展模塊形式接入Python的輕量級協程。
Greenlet全部運行在主程序操作系統進程的內部,但它們被協作式地調度。
用法:
g1=gevent.spawn(func,1,,2,3,x=4,y=5)創建一個協程對象g1,spawn括號內第一個參數是函數名,後面跟參數
g2=gevent.spawn(func2)
g1.join() #等待g1結束
g2.join() #等待g2結束
或者上述兩步合作一步:gevent.joinall([g1,g2])
g1.value#拿到func1的返回值
1 import gevent 2 3 def sayhi(name): 4 print("%s say hi 1" % name) 5 gevent.sleep(3) # gevent 只會在遇到自己的這個sleep方法時才會切換任務,time.sleep不會 6 print("%s say hi 2" % name) 7 8 9 def sayhello(name): 10 print("%s say hello 1" % name) 11 gevent.sleep(5) 12 print("%s say hello 2" % name) 13 14 15 g1 = gevent.spawn(sayhi, "miller") 16 g2 = gevent.spawn(sayhello, "xg") 17 g1.join() 18 g2.join() 19 print("all over!")View Code
上例gevent.sleep(2)模擬的是gevent可以識別的io阻塞,
而time.sleep(2)或其他的阻塞,gevent是不能直接識別的需要用下面一行代碼,打補丁,就可以識別了
from gevent import monkey;monkey.patch_all()必須放到被打補丁者的前面,如time,socket模塊之前
或者我們幹脆記憶成:要用gevent,需要將from gevent import monkey;monkey.patch_all()放到文件的開頭
1 from gevent import monkey;monkey.patch_all() 2 import gevent, time 3 4 def sayhi(name): 5 print("%s say hi 1" % name) 6 time.sleep(3) 7 print("%s say hi 2" % name) 8 9 10 def sayhello(name): 11 print("%s say hello 1" % name) 12 time.sleep(5) 13 print("%s say hello 2" % name) 14 15 16 g1 = gevent.spawn(sayhi, "miller") 17 g2 = gevent.spawn(sayhello, "xg") 18 g1.join() 19 g2.join() 20 print("all over!")View Code
5.協程實現的套接字服務端
1 # 通過gevent實現單線程下的socket並發(from gevent import monkey;monkey.patch_all() 2 # 一定要放到導入socket模塊之前,否則gevent無法識別socket的阻塞) 3 from gevent import monkey;monkey.patch_all() 4 import socket, gevent 5 #如果不想用money.patch_all()打補丁,可以用gevent自帶的socket 6 # from gevent import socket 7 # s=socket.socket() 8 9 10 def rec_data(conn): 11 while True: 12 try: 13 res = conn.recv(1024) 14 if not res:break 15 res = res.upper() 16 conn.send(res) 17 except Exception as e: 18 print(e) 19 finally: 20 conn.close() 21 22 23 def start(): 24 server = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM) 25 server.bind(("127.0.0.1", 8089)) 26 server.listen(1000) 27 print("starting...") 28 while True: 29 conn, addr = server.accept() 30 print(addr) 31 gevent.spawn(rec_data, conn) 32 server.close() 33 34 35 if __name__ == "__main__": 36 g = gevent.spawn(start) 37 g.join()View Code
Python3 從零單排29_協程