关于gevent的一点总结
0x00 基本概念
gevent是基于libev和greenlet的一个python异步框架。
libev是一个高性能的事件循环(event loop)实现。
事件循环(也称作IO多路复用),是解决阻塞问题,实现并发的一种方法。简单点说,就是event loop会捕获、处理io事件的变化:遇到阻塞,就跳出;阻塞结束,就继续。这依赖于系统底层的select函数及其升级版:poll和epoll。《深入理解计算机系统》一书中,对此有深入探讨。
greenlet是一个python的协程管理、切换模块。通过greenlet,你可以显式地在不同的任务之间切换。
0x01 Actor模式
Actor是Erlang语言的精髓。它强调基于消息传递的并发机制。
我们模仿这篇文章 建立一个actor模型。核心代码如下:
import genvet
# 主队列
queue = gevent.queue.JoinableQueue()
while True:
# 持续获取数据
try:
data = queue.get(timeout=5)
except Empty:
gevent.sleep(0.5)
continue
# 交付给Actor
if data:
gl = Actor(data)
g1.start()
g1.join()Actor为我们自定义的一个greenlet的子类,核心代码如下:
class Actor(Greenlet):
def __init__(self, data):
self.data = data
Greenlet.__init__(self)
def _run(self):
result = do_something(self.data)
return result这样,我们这个Actor可以从消息队列中接受数据,通过start(),_run()被调用。
由于gevent和monkey patch的存在,你基本可以以同步的方式,写出异步的代码。这样的写法显得很多余。但是,却可以很好的实现业务的分离,让代码更清晰,更容易维护和扩展。
0x02 实现回调
如果你还希望给Actor加一个回调。即等他完成了之后,再进行某些处理。
那我们可以对Actor机型如下修改:
class Actor(Greenlet):
def __init__(self, data):
self.data = data
Greenlet.__init__(self)
def _run(self):
# 通过self.link添加回调函数。
self.link(callback)
result = do_something(self.data)
return result你可以通过Greenlet().link(),给你的协程添加一个回调。这个回调函数只接收一个参数,即这个协程的实例(g1)。我们会看到_run()函数,其实是返回了一个结果result的。那我们在回调函数中能否取得这个值呢。其实是可以的,这个值被存在了g1.value中。
还是那句话,这样的设计,可能看起来很多余。但随着框架功能的增加,这样多余的设计会让你的代码,愈发地灵活。