Python concurrent.futures：ProcessPoolExecutor 无法工作

Question

我正在尝试使用 ProcessPoolExecutor 方法，但它失败了。 这是一个失败使用的例子（计算两个数字的大除数）。 我不明白错误是什么

def gcd(pair):
    a, b = pair
    low = min(a, b)
    for i in range(low, 0, -1):
        if a % i == 0 and b % i == 0:
            return i

numbers = [(1963309, 2265973), (2030677, 3814172),
           (1551645, 2229620), (2039045, 2020802)]
start = time()
pool = ProcessPoolExecutor(max_workers=2)
results = list(pool.map(gcd, numbers))
end = time()
print('Took %.3f seconds' % (end - start))

BrokenProcessPool：进程池中的一个进程在未来运行或挂起时突然终止。

Answer 1

将您的代码更改为如下所示，它将起作用：

from time import time
from concurrent.futures import ProcessPoolExecutor
def gcd(pair):
    a, b = pair
    low = min(a, b)
    for i in range(low, 0, -1):
        if a % i == 0 and b % i == 0:
            return i

numbers = [(1963309, 2265973), (2030677, 3814172),
           (1551645, 2229620), (2039045, 2020802)]

def main():
    start = time()
    pool = ProcessPoolExecutor(max_workers=3)
    results = list(pool.map(gcd, numbers))
    end = time()
    print('Took %.3f seconds' % (end - start))


if __name__ == '__main__':
    main()

在支持fork() 的系统上，这不是必需的，因为您的脚本只导入一次，然后每个启动的进程ProcessPoolExecutor 将已经在您的全局命名空间中拥有一个对象副本，例如gcd 函数。一旦它们被分叉，它们就会经历一个引导过程，从而开始运行它们的目标函数（在本例中是一个工作进程循环，它接受来自进程池执行器的作业）并且它们永远返回到原来的派生它们的主模块中的代码。

相比之下，如果您使用的是基于spawn 的进程，这是 Windows 和 OSX 上的默认进程，则必须为每个工作进程从头开始启动一个新进程，并且如果它们必须重新导入你的模块。但是，如果您的模块直接在模块主体中执行类似ProcessPoolExecutor 的操作，而没有像if __name__ == '__main__': 那样保护它，那么他们就无法在不启动新的ProcessPoolExecutor 的情况下导入您的模块。所以你得到的这个错误本质上是在防止你创建一个无限进程炸弹。

ProcessPoolExecutor 的文档中提到了这一点：

__main__ 模块必须可由工作子进程导入。这意味着ProcessPoolExecutor 在交互式解释器中不起作用。

但他们并没有真正弄清楚为什么会这样，或者 __main__ 模块“可导入”意味着什么。当您在 Python 中编写一个简单的脚本并像 python foo.py 一样运行它时，您的脚本 foo.py 会加载一个名为 __main__ 的模块，而不是一个名为 foo 的模块，如果您使用 import foo，则会得到一个模块。在这种情况下，它是“可导入的”实际上意味着可导入而不会产生诸如产生新进程之类的重大副作用。