将带有回调的 Python 函数转换为可等待的异步答案

【问题标题】：Converting a Python function with a callback to an asyncio awaitable将带有回调的 Python 函数转换为可等待的异步
【发布时间】：2019-05-28 08:00:11
【问题描述】：

我想在异步上下文中使用 PyAudio 库，但该库的主入口点只有一个基于回调的 API：

import pyaudio

def callback(in_data, frame_count, time_info, status):
    # Do something with data

pa = pyaudio.PyAudio()
self.stream = self.pa.open(
    stream_callback=callback
)

我希望如何使用它是这样的：

pa = SOME_ASYNC_COROUTINE()
async def listen():
    async for block in pa:
        # Do something with block

问题是，我不确定如何将此回调语法转换为回调触发时完成的未来。在 JavaScript 中我会使用 promise.promisify()，但 Python 似乎没有类似的东西。

【问题讨论】：

标签： python python-3.x asynchronous python-asyncio pyaudio

【解决方案1】：

promisify 的等效项不适用于此用例，原因有两个：

PyAudio 的异步 API 不使用异步事件循环 - 文档指定回调是从后台线程调用的。这需要采取预防措施才能与 asyncio 正确通信。
回调不能由单个future 建模，因为它被多次调用，而future 只能有一个结果。相反，它必须转换为异步迭代器，如您的示例代码所示。

这是一种可能的实现方式：

def make_iter():
    loop = asyncio.get_event_loop()
    queue = asyncio.Queue()
    def put(*args):
        loop.call_soon_threadsafe(queue.put_nowait, args)
    async def get():
        while True:
            yield await queue.get()
    return get(), put

make_iter 返回的 pair。返回的对象包含调用回调导致迭代器产生其下一个值（传递给回调的参数）的属性。回调可以从任意线程调用，因此可以安全地传递给pyaudio.open，而异步迭代器应该在异步协程中提供给async for，它将在等待下一个值时暂停：

async def main():
    stream_get, stream_put = make_iter()
    stream = pa.open(stream_callback=stream_put)
    stream.start_stream()
    async for in_data, frame_count, time_info, status in stream_get:
        # ...

asyncio.get_event_loop().run_until_complete(main())

请注意，根据documentation，回调还必须返回一个有意义的值、一个帧元组和一个布尔标志。这可以通过更改fill 函数来合并到设计中，以便也从异步端接收数据。不包括该实现，因为如果不了解该领域，它可能没有多大意义。

【讨论】：

谢谢，这很有帮助！尽管可能使这一点更清楚的是让您的示例 make_iter() 改用一个类，因为我很难理解它是一个最初返回函数元组的函数。
@Miguel 因为回调将在 PyAudio 管理的后台线程中调用，而不是在事件循环线程中调用。 call_soon_threadsafe 正是为这种用途而设计的。它将函数调度到事件循环而不破坏它（例如，通过破坏其数据结构而不持有适当的锁），并在事件循环当时处于休眠状态时将其唤醒。
事件循环线程也在操作队列，因为事件循环从队列中删除了一些东西（并使用call_soon本身来满足自己的需要）。但是即使没有损坏风险，如果您不使用线程安全变体，事件循环也不会唤醒，因为它不知道它需要这样做。典型的症状是不相关的心跳协程的存在“修复”了问题，如this question。
哦，它唤醒了事件循环！这就解释了为什么当我删除 call_soon_threadsafe 时我的测试会永远挂起。谢谢！
基于这个答案，我为sounddevice 模块创建了一个示例：github.com/spatialaudio/python-sounddevice/blob/master/examples/…。这似乎工作得很好！

【解决方案2】：

您可能想使用Future

类 asyncio.Future(*, loop=None)¶

Future 表示异步操作的最终结果。不是线程安全的。

Future 是一个可等待的对象。协程可以等待 Future 对象，直到它们有结果或异常集，或者直到它们被取消。

Futures 通常用于启用基于回调的低级代码（例如在使用异步传输实现的协议中）与高级异步/等待代码互操作。

经验法则是永远不要在面向用户的 API 中公开 Future 对象，创建 Future 对象的推荐方法是调用 loop.create_future()。这样，替代事件循环实现可以注入自己优化的 Future 对象实现。

一个愚蠢的例子：

def my_func(loop):
    fut = loop.create_future()
    pa.open(
        stream_callback=lambda *a, **kw: fut.set_result([a, kw])
    )
    return fut


async def main(loop):
    result = await my_func(loop)  # returns a list with args and kwargs

我假设pa.open 在线程或子进程中运行。如果没有，您可能还需要使用asyncio.loop.run_in_executor 包装对open 的调用

【讨论】：