让 asyncio 聚集等到所有任务完成

Question

我有一些函数应该并行运行并收集数据一秒钟，然后在时间过去后返回数据。

问题是，一项任务（据我所知）先于另一项完成，导致 results 在该结果上为空。例如下面的代码：

import asyncio
import time

async def task(id, end_time):
    print('Started task ', id)
    results = []
    while time.time() < end_time:
        results.append(1)
    return results


async def main():
    while True:
        end_time = time.time() + 1
        results = await asyncio.gather(*[task(i,end_time) for i in range(2)])
        print(len(results[0]), len(results[1]))
try:
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())
except KeyboardInterrupt:
    pass
finally:
    loop.close()

返回

Started task  0
Started task  1
5580452 0

我哪里错了？我知道我应该以某种方式让它等待所有任务完成，然后再对结果进行操作，但是在摆弄了一段时间之后，我真的不知道如何实现这一点。

Answer 1

您不需要以不同的方式gather 他们。你用asyncio的方式没问题。

在您的 task 协程中删除 while 并仅附加到 results 一次。您会看到这两个任务都会返回它们的输出。

问题在于，当您执行while time.time() 时，您会锁定它，因为它不是异步的。所以它会运行while 循环，直到满足end_time 条件。

然后第二个开始，因为task coro 不允许在此期间执行任何其他操作。由于两者都使用相同的end_time，因此第二个 coro 永远不会追加。

如果你想异步运行while循环，你需要在你的task函数中为它和await创建额外的异步逻辑。

编辑： 例如，如果您只想将其放回事件循环并允许执行其他操作，只需将 await asyncio.sleep(0.1) 放入您的 while 循环中。

例子：

async def task(id, end_time):
    print('Started task ', id)
    results = []
    while time.time() < end_time:
        results.append(1)
        await asyncio.sleep(0.000000001)
    return results

改进空间：

• asyncio.run(main() 负责创建事件循环
• 追加到列表是一项昂贵的操作，请尝试循环使用+= 1，这样您的results 开头将是0，然后打印结果，而不是它们的长度