是否可以在不产生线程或进程的情况下在后台启动异步事件循环？

Question

我有一个用 Python 3.5 实现的服务，它应该定期通过网络加载文件。我想避免在加载时阻塞主线程。为了避免在我的应用程序中引入线程和共享内存的复杂性，我想使用带有 asyncio 包的事件循环来对此进行检测。

为了运行事件循环，我找到了AbstractEventLoop.run_forever() 和AbstractEventLoop.run_until_complete(future) 方法，但它们似乎在调用时都阻塞了主线程。我发现避免这种情况的唯一方法是在不同的线程中启动循环。但是如果我仍然使用线程，那么使用事件循环就没有意义了。

所以我的问题是：是否可以在不产生线程或进程的情况下在后台启动异步事件循环？

Answer 1

您可以使用run_in_executor 方法。您使用此方法运行的每个函数都在各自的线程中运行（并行）。

AbstractEventLoop.run_in_executor() 方法可以与线程池执行器一起使用，在不同的线程中执行回调，不会阻塞事件循环的线程。

executor 参数应该是一个 Executor 实例。如果 executor 为 None，则使用默认 executor。

例如：

import asyncio

def load_file_over_network(file_name):
    # do the file loading
    pass

loop = asyncio.get_event_loop()
file_name = 'FILE_NAME'

# load the file without blocking
loop.run_in_executor(None, load_file_over_network, file_name)

# do some other stuff in the main thread
# while the synchronous code above is running in other threads, the event loop
# can go do other things

# load the file again without blocking
loop.run_in_executor(None, load_file_over_network, file_name)

希望这会有所帮助:)

Answer 2

如果你的整个程序在没有asyncio 的事件循环的情况下运行，那么在新的事件循环中只运行一个任务没有多大意义。相反，请尝试使用简单得多的 concurrent.futures 库。任何调用的任务都会立即返回一个 Future 实例，该实例具有 .done() 和 .result() 方法：

import time
from concurrent.futures.thread import ThreadPoolExecutor


def fetcher():
    print("fetching...")
    time.sleep(2)
    print("got it!")
    return 42


with ThreadPoolExecutor(max_workers=10) as executor:
    fut = None
    for i in range(100):
        if i % 10 == 2:
            fut = executor.submit(fetcher)
        print(i, fut)
        if fut and fut.done():
            result = fut.result()  # can raise an error
            print("Done! Got:", result)
            fut = None
        time.sleep(0.5)

Answer 3

嗯，Yuval Pruss's answer 部分正确。实际上，loop.run_in_executor() 的 Executor 参数可以是 ThreadPoolExecutor（默认值）或 ProcessPoolExecutor。

所以答案是否定的，您不能在所有其他代码同步的情况下在后台运行asyncio Task。或者你重写你的应用程序，让它为每个任务使用asyncio，或者你必须使用线程或进程。