1. 程式人生 > >Python協程之Gevent

Python協程之Gevent

greenlet tex 屬性 eve 自己認識 內部 猴子補丁 三方 nal

協程,又稱微線程,即為輕量級的線程。
python中實現協程是基於Gevent模塊,Gevent模塊內部封裝了greenlet模塊;greenlet模塊實現了在單線程中切換狀態,Gevent模塊在此之上還實現了遇到I/O操作自動切換,使程序運行更快;但是Gevent只在遇到自己認識的I/O操作時切換,所以需要使用Gevent包的一個模塊:猴子補丁,使用了這個補丁,Gevent會直接修改在它之後導入的模塊中的I/O操作,使其可以讓Gevent識別,從而開啟協程。
Greenlet與Gevent模塊都是python的第三方模塊,需安裝使用。

1、Greenlet

主要方法:

g = greenlet(run=None, parent=None):實例化一個greenlet對象

g.parent:每一個協程都有一個父協程,當前協程結束後會回到父協程中執行,該屬性默認是創建該協程的協程
g.run: 該屬性是協程實際運行的代碼. run方法結束了,那麽該協程也就結束了
g.switch(*args, **kwargs): 切換到g協程
g.throw(): 切換到g協程,接著拋出一個異常

示例:

from greenlet import greenlet

def work():
    print("1")
    g2.switch() # 切換到g2協程
    print("3")
    g2.switch()

def work2():
    print("2")
    g1.switch()
    print("4")

g1 = greenlet(work)  # 創建一個greenlet實例
g2 = greenlet(work2)
g1.switch() # 切換到g1協程

結果:

1
2
3
4

2、Gevent

示例1:

from gevent import monkey
monkey.patch_all()      # monkey補丁會將在它之後導入的模塊的IO操作打包,使gevent認識他們
import gevent

def work1():
    print("1")
    gevent.sleep(1)
    print("3")

def work2():
    print("2")
    gevent.sleep(1)
    print("4")

g1 = gevent.spawn(work1)
g2 = gevent.spawn(work2)

# g1.join()
# g2.join()

gevent.joinall([g1,g2])

示例2:爬取網頁

from gevent import monkey;monkey.patch_all()
import gevent
import requests

def get_url(url):
    res = requests.get(url)
    print(url,res.status_code,len(res.text))

url_l = [
    ‘http://www.baidu.com‘,
    ‘http://www.google.com‘,
    ‘https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5‘,
    ‘https://www.youtube.com/?app=desktop‘,
    ‘https://www.facebook.com/‘,
    ‘http://www.python.org‘,
    ‘http://www.cnblogs.com‘
]
g_l = []
for i in url_l:
    g_l.append(gevent.spawn(get_url,i))
gevent.joinall(g_l)

Python協程之Gevent