【问题标题】:Python coroutines: Release context manager when pausingPython协程:暂停时释放上下文管理器
【发布时间】:2019-09-28 09:57:46
【问题描述】:

背景:我是一位经验丰富的 Python 程序员,对新的 coroutines/async/await 功能一无所知。我无法编写异步“hello world”来挽救我的生命。

我的问题是:我得到了一个任意的协程函数f。我想写一个协程函数g,它将包装f,即我将g 给用户,就好像它是f,用户会调用它并且不会更聪明,因为@987654327 @ 将在后台使用 f。就像你装饰一个普通的 Python 函数来添加功能一样。

我要添加的功能:每当程序流进入我的协程时,它都会获取我提供的上下文管理器,并且一旦程序流离开协程,它就会释放该上下文管理器。流量回来了?重新获取上下文管理器。会退吗?重新释放它。直到协程完全结束。

为了演示,这里描述了普通生成器的功能:

def generator_wrapper(_, *args, **kwargs):
    gen = function(*args, **kwargs)
    method, incoming = gen.send, None
    while True:
        with self:
            outgoing = method(incoming)
        try:
            method, incoming = gen.send, (yield outgoing)
        except Exception as e:
            method, incoming = gen.throw, e

是否可以使用协程来做到这一点?

【问题讨论】:

  • 您能否让您的示例可重现? selffunction 是什么?你怎么称呼generator_wrapper,为什么它有_作为第一个参数?
  • 如果这令人困惑,您可以忽略该示例。上面的段落描述了我想要的功能。
  • 要了解协程、异步、等待和事件循环,我强烈推荐观看 David Beazley 的 this lecture。讲师在现场观众面前从零开始创建了一个简单的事件循环,准确地展示了协程和事件循环之间的相互作用。 (不要被讲座使用较旧的yield from 语法而推迟,await 只是yield from 的一个非常薄的语法糖,正如宫城先生的回答中所解释的那样。)

标签: python async-await coroutine


【解决方案1】:

协程建立在迭代器之上——__await__ special method 是一个常规迭代器。这允许您将底层迭代器包装在另一个迭代器中。诀窍是您必须使用目标的__await__解包迭代器,然后使用您自己的__await__重新包装您自己的迭代器。

适用于实例化协程的核心功能如下所示:

class CoroWrapper:
    """Wrap ``target`` to have every send issued in a ``context``"""
    def __init__(self, target: 'Coroutine', context: 'ContextManager'):
        self.target = target
        self.context = context

    # wrap an iterator for use with 'await'
    def __await__(self):
        # unwrap the underlying iterator
        target_iter = self.target.__await__()
        # emulate 'yield from'
        iter_send, iter_throw = target_iter.send, target_iter.throw
        send, message = iter_send, None
        while True:
            # communicate with the target coroutine
            try:
                with self.context:
                    signal = send(message)
            except StopIteration as err:
                return err.value
            else:
                send = iter_send
            # communicate with the ambient event loop
            try:
                message = yield signal
            except BaseException as err:
                send, message = iter_throw, err

请注意,这明确适用于Coroutine,而不是Awaitable - Coroutine.__await__ 实现了生成器接口。理论上,Awaitable 不一定提供__await__().send__await__().throw

这足以传入和传出消息:

import asyncio


class PrintContext:
    def __enter__(self):
        print('enter')

    def __exit__(self, exc_type, exc_val, exc_tb):
        print('exit via', exc_type)
        return False


async def main_coro():
    print(
        'wrapper returned',
        await CoroWrapper(test_coro(), PrintContext())
    )


async def test_coro(delay=0.5):
    await asyncio.sleep(delay)
    return 2

asyncio.run(main_coro())
# enter
# exit via None
# enter
# exit <class 'StopIteration'>
# wrapper returned 2

您可以将包装部分委托给单独的装饰器。这也确保您拥有一个实际的协程,而不是自定义类 - 一些异步库需要这个。

from functools import wraps


def send_context(context: 'ContextManager'):
    """Wrap a coroutine to issue every send in a context"""
    def coro_wrapper(target: 'Callable[..., Coroutine]') -> 'Callable[..., Coroutine]':
        @wraps(target)
        async def context_coroutine(*args, **kwargs):
            return await CoroWrapper(target(*args, **kwargs), context)
        return context_coroutine
    return coro_wrapper

这允许你直接装饰一个协程函数:

@send_context(PrintContext())
async def test_coro(delay=0.5):
    await asyncio.sleep(delay)
    return 2

print('async run returned:', asyncio.run(test_coro()))
# enter
# exit via None
# enter
# exit via <class 'StopIteration'>
# async run returned: 2

【讨论】:

  • 优秀的答案。一个小问题:regular iterator 可能有点乐观。尽管迭代器可能适用于简单的情况,但您的实际示例期望 __await__ 返回一个 generator (或用鸭子打字模仿它的对象),因为它调用 generator methods send 和 @ 987654338@,在普通迭代器上都不可用。我认为你也应该在完成后调用close()target_iter,否则它的finally 子句将不会运行或运行得比必要的晚。
  • @user4815162342 有趣的是,__await__ 的规范只需要一个迭代器。例如,def __await__(self): return iter([1, 2, 3, 4]) 有效且有效。然而,事件循环(和显示的类)需要 coroutines,而不是 awaitables - 协程的 __await__ 实现了生成器接口。无需显式关闭 target_iter,因为包装器将继续运行,直到 target_iter 抛出 StopIteration - 这仅在底层迭代器完成时才会发生。
  • 同意关闭target_iterStopIteration。至于期望协程的事件循环,我不认为这对于 asyncio 是正确的。 Future 是 awaitable 的示例,它不是协程,并且在任何地方都被接受。唯一需要协程的地方是create_task,专门用来驱动协程的。
  • 我认为您可以将return err.args[0] if err.args else None 替换为return err.value
  • @user4815162342 感谢您的提示!使用文档进行测试和验证,err.value 在所有支持async 的 Python 版本上均有效。
猜你喜欢
  • 2017-04-09
  • 1970-01-01
  • 2012-10-31
  • 1970-01-01
  • 2013-02-07
  • 2012-01-18
  • 2021-10-21
  • 2016-10-21
  • 1970-01-01
相关资源
最近更新 更多