Python：无限循环中的多线程

Question

我有一个基本上运行无限循环的代码，并且在循环的每次迭代中我都会运行一些指令。其中一些指令必须“并行”运行，我通过使用多处理来完成。这是我的代码结构示例：

from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool 

def buy_fruit(fruit, number):
    print('I bought '+str(number)+' times the following fruit:'+fruit)
    return 'ok'

def func1(parameter1, parameter2):
    myParameters=(parameter1,parameter2)
    pool= Threadpool(2)
    data = pool.starmap(func2,zip(myParameters))
    return 'ok'

def func2(parameter1):
    print(parameter1)
    return 'ok'



while true:
    myFruits=('apple','pear','orange')
    myQuantities=(5,10,2)
    pool= Threadpool(2)
    data = pool.starmap(buy_fruit,zip(myFruits,myQuantities))
    func1('hello', 'hola')

我同意这有点混乱，因为我在主循环中有多个进程，而且在函数中也有。

所以一切正常，直到循环运行几分钟，我得到一个错误： "RuntimeError: 无法启动新线程"

我在网上看到这是因为我打开的线程太多了。

在每次循环迭代结束时关闭所有线程的最简单方法是什么，以便我可以在新循环迭代开始时“重新”重新启动？

提前感谢您的时间和帮助！

最好， 朱莉娅

PS：示例代码只是一个示例，我的真实函数在每个循环中打开了许多线程，每个函数需要几秒钟才能执行。

Answer 1

您正在无限循环中创建一个新的ThreadPool 对象，这可能是导致您的问题的原因，因为您没有在循环结束时终止线程。您是否尝试过在无限循环之外创建对象？

pool = ThreadPool(2)
while True:
    myFruits = ('apple','pear','orange')
    myQuantities = (5,10,2)
    data = pool.starmap(buy_fruit, zip(myFruits,myQuantities))

另外，为了回答您的问题，如果您的用例出于某种原因需要在每次循环迭代中创建一个新的 ThreadPool 对象，请使用 ContextManager (with Notation) 以确保在离开 ContextManager 时关闭所有线程。

while True:
    myFruits = ('apple','pear','orange')
    myQuantities = (5,10,2)
    with ThreadPool(2) as pool:
        data = pool.starmap(buy_fruit, zip(myFruits,myQuantities))

但请注意，这与上述代码相比存在显着的性能差异。创建和终止线程的成本很高，这就是为什么上面的示例运行得更快，并且可能是您想要使用的。

关于涉及“嵌套线程池”的编辑：我建议维护一个线程池实例，并根据需要传递对嵌套函数的引用。

def func1(pool, parameter1, parameter2):
    ...
...

pool = ThreadPool(2)
while True:
    myFruits=('apple','pear','orange')
    myQuantities=(5,10,2)
    data = pool.starmap(buy_fruit, zip(myFruits,myQuantities))
    func1(pool, 'hello', 'hola')