協程及Python中的協程
閱讀目錄
- 1 協程
- 2 Python中如何實現協程
1 協程
1.1協程的概念
協程,又稱微線程,纖程。英文名Coroutine。一句話說明什麽是線程:協程是一種用戶態的輕量級線程。(其實並沒有說明白~)
我覺得單說協程,比較抽象,如果對線程有一定了解的話,應該就比較好理解了。
那麽這麽來理解協程比較容易:
線程是系統級別的,它們是由操作系統調度;協程是程序級別的,由程序員根據需要自己調度。我們把一個線程中的一個個函數叫做子程序,那麽子程序在執行過程中可以中斷去執行別的子程序;別的子程序也可以中斷回來繼續執行之前的子程序,這就是協程。也就是說同一線程下的一段代碼<1>執行著執行著就可以中斷,然後跳去執行另一段代碼,當再次回來執行代碼塊<1>的時候,接著從之前中斷的地方開始執行。
比較專業的理解是:
協程擁有自己的寄存器上下文和棧。協程調度切換時,將寄存器上下文和棧保存到其他地方,在切回來的時候,恢復先前保存的寄存器上下文和棧。因此:協程能保留上一次調用時的狀態(即所有局部狀態的一個特定組合),每次過程重入時,就相當於進入上一次調用的狀態,換種說法:進入上一次離開時所處邏輯流的位置。
1.2 協程的優缺點
協程的優點:
(1)無需線程上下文切換的開銷,協程避免了無意義的調度,由此可以提高性能(但也因此,程序員必須自己承擔調度的責任,同時,協程也失去了標準線程使用多CPU的能力)
(2)無需原子操作鎖定及同步的開銷
(3)方便切換控制流,簡化編程模型
(4)高並發+高擴展性+低成本:一個CPU支持上萬的協程都不是問題。所以很適合用於高並發處理。
協程的缺點:
(1)無法利用多核資源:協程的本質是個單線程,它不能同時將 單個CPU 的多個核用上,協程需要和進程配合才能運行在多CPU上.當然我們日常所編寫的絕大部分應用都沒有這個必要,除非是cpu密集型應用。
(2)進行阻塞(Blocking)操作(如IO時)會阻塞掉整個程序
回到頂部
2 Python中如何實現協程
2.1 yield實現協程
前文所述“子程序(函數)在執行過程中可以中斷去執行別的子程序;別的子程序也可以中斷回來繼續執行之前的子程序”,那麽很容易想到Python的yield,顯然yield是可以實現這種切換的。
使用yield實現協程操作例子:
1 #! /usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # Author: "Zing-p" 4 # Date: 2017/5/12 5 6 7 def consumer(name): 8 print("要開始啃骨頭了...") 9 while True: 10 print("\033[31;1m[consumer] %s\033[0m " % name) 11 bone = yield 12 print("[%s] 正在啃骨頭 %s" % (name, bone)) 13 14 15 def producer(obj1, obj2): 16 obj1.send(None) # 啟動obj1這個生成器,第一次必須用None <==> obj1.__next__() 17 obj2.send(None) # 啟動obj2這個生成器,第一次必須用None <==> obj2.__next__() 18 n = 0 19 while n < 5: 20 n += 1 21 print("\033[32;1m[producer]\033[0m 正在生產骨頭 %s" % n) 22 obj1.send(n) 23 obj2.send(n) 24 25 26 if __name__ == ‘__main__‘: 27 con1 = consumer("消費者A") 28 con2 = consumer("消費者B") 29 producer(con1, con2)
運行的結果:
2.2 greenlet實現協程
Python的 greenlet就相當於手動切換,去執行別的子程序,在“別的子程序”中又主動切換回來。。。
greenlet協程例子:
1 #! /usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 from greenlet import greenlet 5 # greenlet 其實就是手動切換;gevent是對greenlet的封裝,可以實現自動切換 6 7 def test1(): 8 print("123") 9 gr2.switch() # 切換去執行test2 10 print("456") 11 gr2.switch() # 切換回test2之前執行到的位置,接著執行 12 13 def test2(): 14 print("789") 15 gr1.switch() # 切換回test1之前執行到的位置,接著執行 16 print("666") 17 18 19 gr1 = greenlet(test1) # 啟動一個協程 註意test1不要加() 20 gr2 = greenlet(test2) # 21 gr1.switch()
2.3 gevent 實現協程
Gevent 是一個第三方庫,可以輕松通過gevent實現協程程,在gevent中用到的主要模式是Greenlet, 它是以C擴展模塊形式接入Python的輕量級協程。 Greenlet全部運行在主程序操作系統進程的內部,但它們被協作式地調度。
gevent會主動識別程序內部的IO操作,當子程序遇到IO後,切換到別的子程序。如果所有的子程序都進入IO,則阻塞。
協程之gevent例子:
1 #! /usr/bin/env python3 2 # -*- coding:utf-8 -*- 3 4 import gevent 5 6 def func1(): 7 print("func1 running") 8 gevent.sleep(2) # 內部函數實現io操作 9 print("switch func1") 10 11 def func2(): 12 print("func2 running") 13 gevent.sleep(1) 14 print("switch func2") 15 16 def func3(): 17 print("func3 running") 18 gevent.sleep(0) 19 print("func3 done..") 20 21 gevent.joinall([gevent.spawn(func1), 22 gevent.spawn(func2), 23 gevent.spawn(func3), 24 ])
同步與異步性能區別:
1 import gevent 2 3 def task(pid): 4 """ 5 Some non-deterministic task 6 """ 7 gevent.sleep(0.5) 8 print(‘Task %s done‘ % pid) 9 10 def synchronous(): 11 for i in range(1,10): 12 task(i) 13 14 def asynchronous(): 15 threads = [gevent.spawn(task, i) for i in range(10)] 16 gevent.joinall(threads) 17 18 print(‘Synchronous:‘) 19 synchronous() 20 21 print(‘Asynchronous:‘) 22 asynchronous()
上面程序的重要部分是將task函數封裝到greenlet內部線程的gevent.spawn
。 初始化的greenlet列表存放在數組threads
中,此數組被傳給gevent.joinall
函數,後者阻塞當前流程,並執行所有給定的greenlet。執行流程只會在 所有greenlet執行完後才會繼續向下走。
遇到Io阻塞時會切換任務之【爬蟲版】
1 #! /usr/bin/env python3 2 # -*- coding:utf-8 -*- 3 4 from urllib import request 5 import gevent,time 6 from gevent import monkey 7 8 monkey.patch_all() # 把當前程序中的所有io操作都做上標記 9 10 def spider(url): 11 print("GET:%s" % url) 12 resp = request.urlopen(url) 13 data = resp.read() 14 print("%s bytes received from %s.." % (len(data), url)) 15 16 urls = [ 17 "https://www.python.org/", 18 "https://www.yahoo.com/", 19 "https://github.com/" 20 ] 21 22 start_time = time.time() 23 for url in urls: 24 spider(url) 25 print("同步耗時:",time.time() - start_time) 26 27 async_time_start = time.time() 28 gevent.joinall([ 29 gevent.spawn(spider,"https://www.python.org/"), 30 gevent.spawn(spider,"https://www.yahoo.com/"), 31 gevent.spawn(spider,"https://github.com/"), 32 ]) 33 print("異步耗時:",time.time() - async_time_start) 34 35 # 最好爬國外網站吧
通過gevent實現【單線程】下的多socket並發
server端:
1 import sys 2 import socket 3 import time 4 import gevent 5 6 from gevent import socket,monkey 7 monkey.patch_all() 8 10 def server(port): 11 s = socket.socket() 12 s.bind((‘0.0.0.0‘, port)) 13 s.listen(500) 14 while True: 15 cli, addr = s.accept() 16 gevent.spawn(handle_request, cli) 17 19 def handle_request(conn): 20 try: 21 while True: 22 data = conn.recv(1024) 23 print("recv:", data) 24 conn.send(data) 25 if not data: 26 conn.shutdown(socket.SHUT_WR) 27 28 except Exception as ex: 29 print(ex) 30 finally: 31 conn.close() 32 if __name__ == ‘__main__‘: 33 server(9999)
client端:
1 import socket 2 3 HOST = ‘localhost‘ # The remote host 4 PORT = 9999 # The same port as used by the server 5 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 6 s.connect((HOST, PORT)) 7 while True: 8 msg = bytes(input(">>:"),encoding="utf8") 9 s.sendall(msg) 10 data = s.recv(1024) 11 #print(data) 12 13 print(‘Received‘, repr(data)) 14 s.close()
協程及Python中的協程