如何使用 Trio 进行快速 Web api 调用？

Question

我正在尝试加快一些调用 api_caller() 的代码，这是一个生成器，您可以对其进行迭代以获得结果。

我的同步代码如下所示：

def process_comment_tree(p):
    # time consuming breadth first search that makes another api call...
    return

def process_post(p):
    process_comment_tree(p)

def process_posts(kw):
    for p in api_caller(query=kw): #possibly 1000s of results
        process_post(p)
    
def process_kws(kws):
    for kw in kws:
        process_posts(kw)

process_kws(kws=['python', 'threads', 'music'])

当我在kws 的长列表上运行此代码时，大约需要 18 分钟才能完成。

当我使用线程时：

with concurrent.futures.ThreadPoolExecutor(max_workers=len(KWS)) as pool:
    for result in pool.map(process_posts, ['python', 'threads', 'music']):
        print(f'result: {result}')

代码在大约 3 分钟内完成。

现在，我第一次尝试使用 Trio，但遇到了麻烦。

async def process_comment_tree(p):
    # same as before...
    return

async def process_post(p):
    await process_comment_tree(p)

async def process_posts(kw):
    async with trio.open_nursery() as nursery:
        for p in r.api.search_submissions(query=kw)
            nursery.start_soon(process_post, p)
    
async def process_kws(kws):
    async with trio.open_nursery() as nursery:
        for kw in kws:
            nursery.start_soon(process_posts, kw)
trio.run(process_kws, ['python', 'threads', 'music'])

这仍然需要大约 18 分钟才能执行。我在这里做错了什么，还是三重奏/异步之类的东西不适合我的问题设置？

Answer 1

Trio 和一般的异步库通过在等待外部事件（例如 API 调用）时切换到不同的任务来工作。在您的代码示例中，看起来您开始了一堆任务，但等待外部的东西。我建议阅读本教程的这一部分；它给出了这意味着什么的想法：https://trio.readthedocs.io/en/stable/tutorial.html#task-switching-illustrated

基本上，您的代码必须调用一个函数，将控制权传递回run 循环，以便它可以切换到不同的任务。

如果您的 api_caller 生成器调用外部 API，那么您可以将其替换为异步调用。您需要使用异步 http 库，例如 HTTPX 或 hip

另一方面，如果您的代码中没有任何东西需要等待外部的东西，那么异步不会帮助您的代码运行得更快。