如何轻松找到已超时的协程？

Question

关键问题：asyncio.wait(aws,timeout=1,return_when=FIRST_COMPLETED) 有没有简单的方法可以检查返回的任务是否超时？

这是一个扩展问题。

场景是这样的：

• 协程总数未知
• 服务器只允许 10 个链接
• 服务器会返回一个看似正确的结果（例如返回一个不正确的页面）
• 服务器有时不返回任何数据。
• 最大可能访问所有数据

所以为了更快的获取数据，我需要限制协程的数量。检查返回的页面。并超时。

目前有两种简单的方法。
1.类似线程，使用queue搭建协程池+10个无限循环coro。我真的不喜欢它。事实上，这种方法效果非常好。
2.我尝试使用async python3.7的高级API，尽量简化程序结构，使用while tasks&asyncio.wait&return_when。

在这里，我遇到了如何查找协程超时的问题。

我构建了一个简单的演示：

import asyncio


async def test(delaytime):
    print(f"begin {delaytime}")
    await asyncio.sleep(delaytime )
    print(f"finish {delaytime} ")

async def main():
    # the number of tasks is unknow,range(10) is just a demo
    allts = list(range(10))
    ts = []
    while len(ts)<5:
        arg = allts.pop()
        t = asyncio.create_task(test(arg))
        t.arg = arg
        ts.append(t)
    while ts:
        dones,pendings = await asyncio.wait(ts,timeout=2,return_when=asyncio.FIRST_COMPLETED)
        for t in dones:
            # if check t.result() is error , i can append ts again
            print(t.arg,"is done")
            ts.remove(t)
            while len(ts)<5:
                if len(allts):
                    arg = allts.pop()
                    t = asyncio.create_task(test(arg))
                    t.arg = arg
                    ts.append(t)
                else:
                    break
        # for t in pendings:
        #   # if can check t is timeout , i can append ts again
        #   pass

if __name__=="__main__":
    asyncio.run(main())

调试后知道return_when=asyncio.FIRST_COMPLETED，asyncio.wait返回的任务都在pending中，除了已完成的任务。
但是，我不知道哪个任务超时。 我考虑过使用wait_for，但wait_for 没有return_when 参数。

有没有简单的方法来确定超时任务以便重新加入ts？

Answer 1

问题是使用wait(return_when=FIRST_COMPLETED) 的方法与timeout 的使用根本不兼容。由于不同的任务在不同的时间开始，单个timeout 参数显然不能适用于所有任务。如果要使用return_when=FIRST_COMPLETED，请将每个任务包装在asyncio.wait_for中：

t = asyncio.create_task(asyncio.wait_for(test(arg), 2))

然后，当任务完成后，您可以使用t.exception() 来测试它是否已经超时，在这种情况下它会返回asyncio.TimeoutError。此检查应仅在 done 任务中执行。