Python 的 asyncio.gather() 似乎没有异步运行任务

Question

我需要异步运行 20 个任务（每个任务运行相同的函数，但参数不同）。每个任务都使用 Python 的 yfinance API 模块。这是我目前的方法：

1. 定义一个包含 20 个元素的列表args；每个元素都是要传递给相应任务的参数。
2. 定义一个异步函数 get_data，我将每次使用不同的参数运行 20 次。
3. 定义一个异步函数main，它将使用asyncio.gather异步运行20个任务。

这是（伪）代码：

import asyncio

stocks = []
args = ['arg1', 'arg2', ... , 'arg20']


async def get_data(arg):
    stock = Stock(arg)
    # do some yfinance calls
    return stock


async def main():
    global stocks
    tasks = [asyncio.ensure_future(get_data(arg)) for arg in args]
    stocks = await asyncio.gather(*tasks)


asyncio.run(main())

print(stocks)  # should be a list of 20 return values from the 20 tasks

假设每个任务单独运行需要 4 秒。如果它是异步运行的，那么这 20 个任务应该在 4 秒内运行。但是，它在 80 秒内运行。如果我删除所有异步代码并同步运行它，它会在相同的时间内运行。有什么帮助吗？

谢谢。

Answer 1

我检查了yfinance 的文档并在需求中看到requests 库，该库不是异步的。这意味着你不应该将它与 asyncio 模块一起使用，而应该使用 theading.Thread 或 concurrent.futures.ThreadPoolExecutor。

我为您制作了以下示例，请运行它并分享您的结果。

from concurrent.futures import ThreadPoolExecutor
import yfinance as yf
from pprint import pprint
from time import monotonic


def get_stocks_data(name: str) -> dict:
    """some random function which extract some data"""
    tick = yf.Ticker(name)
    tick_info = tick.info
    return tick_info


if __name__ == '__main__':
    # some random stocks
    stocks = [
        'AAPL', 'AMD', 'AMZN', 'FB', 'GOOG', 'MSFT', 'TSLA', 'MSFT',
        'AAPL', 'AMD', 'AMZN', 'FB', 'GOOG', 'MSFT', 'TSLA', 'MSFT',
    ]
    start_time = monotonic()
    # you can choose max_workers number higher and check if app works faster
    # e.g choose 16 as max number of workers
    with ThreadPoolExecutor(max_workers=4) as pool:
        results = pool.map(get_stocks_data, stocks)

    for r in results:
        pprint(r)

    print("*" * 150)
    print(monotonic() - start_time)