如何在扭曲的协同程序中使用多个线程池

Question

我想在 Python Twisted 中使用一个单独的线程池来完成一些对 CPU 使用率要求很高的特殊工作。

我要执行的函数都定义为inlineCallback，我不能修改。

from twisted.python.threadpool import ThreadPool

@inflineCallbacks
def myFunc(i):
    tmp_result = yield intenseCPUwork(i)
    # more work ...
    return result

pool = ThreadPool(0, 2)

for i in range(100):
    pool.callInThread(myFunc, i)

...

但是由于我的函数返回一个 deferred，它们在线程池中像这样调用时会立即返回，从而导致所有 100 个调用一次执行，即使线程池的大小仅为 2。

如何确保在 twisted 中同时只调用两个异步函数？

Answer 1

我要执行的函数都定义为inlineCallback，我不能修改。

这意味着您不能在非反应器线程中运行它们。除了几个例外（主要与日志记录或线程管理有关），Twisted API 不是线程安全的。您只能在反应器运行的同一线程中使用它们。

如果您无法更改目标函数以停止使用 Twisted API，则无法在另一个线程中运行它们。

Answer 2

我相信您需要的是异步/等待功能的支持以进行激烈的工作，如下所示

import asyncio

async def myFunc(i):
    tmp_result = yield intenseCPUwork(i)
    # more work ...
    return result

loop = asyncio.get_event_loop()
tasks = [
    loop.create_task(myFunc(1)),
    loop.create_task(myFunc(2))
]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()