Python多处理连续处理与等待

Question

我正在使用基于事件的系统，该系统使用新的 Python 3.5 协程和等待。我注册事件，这些事件被系统调用。

@event
aysnc def handleevent(args):
    # handle the event

我需要初始化一些类来处理工作（耗时）。然后调用实例方法，同样耗时（它们实际上使用 selenium 来浏览某些网站）。

理想情况下，我想要类似下面的代码

# supposedly since this is multiprocessing this is a different driver per process
driver = None
def init():
    # do the heavy initialization here
    global driver
    driver = webdriver.Chrome()

def longworkmethod():
    ## need to return some data
    return driver.dolongwork()

class Drivers:
""" A class to handle async and multiprocessing"""
    def __init__(self, numberOfDrivers):
        self.pool = multiprocessing.Pool(processes=numberOfDrivers, initializer=init)       

    async def dowork(self, args):
        return self.pool.apply_async(longworkmethod, args=args)


### my main python class
drivers = Drivers(5)

@event
aysnc def handleevent(args):
    await drivers.dowork(args)

@event
aysnc def quit(args):
    ## do cleanup on drivers
    sys.exit(0)

此代码不起作用，但我尝试了许多不同的方法，但似乎没有一个能够做我想做的事。

它不必是这种精确的形式，但是我如何将 await 和 coroutines 与需要多处理的程序混合？

Answer 1

虽然从技术上讲，没有什么会限制您混合 asyncio 和 multiprocessing，但我建议避免这样做。这会增加很多复杂性，因为您最终需要每个线程都有一个事件循环，并且来回传递信息会很棘手。只需使用其中一种。

asyncio 提供用于在另一个线程中运行任务的函数 - 例如AbstractEventLoop.run_in_executor。看看这些答案

• https://stackoverflow.com/a/33025287/66349（在协程中调用 selenium）
• https://stackoverflow.com/a/28492261/66349

或者，您也可以只使用 multiprocessing，因为 selenium 有一个阻塞（非异步）接口，但听起来您的某些代码已经在使用 asyncio，所以可能坚持以上。