如何限制并发worker的数量？

Question

我有一个函数，我想并行执行多次，但同时只有定义数量的实例。

这样做的自然方法似乎是使用multiprocessing.Pool。具体来说，文档说

频繁模式 (...) 是允许一个工人在一个 池在退出之前只完成一定数量的工作，被 清理并产生了一个新进程来替换旧进程。这 池的maxtasksperchild 参数将这种能力暴露到最后 用户。

maxtasksperchild 定义为：

maxtasksperchild 是工作进程可以执行的任务数 在它退出并被新的工人取代之前完成 进程，以释放未使用的资源。默认 maxtasksperchild 为 None，这意味着工作进程将作为 和游泳池一样长。

我不清楚 task 在这里是什么意思。例如，如果我只想让我的工作人员最多并行运行 4 个实例，我应该将multiprocessing.Pool 启动为

pool = multiprocessing.Pool(processes=4, maxtasksperchild=4)

processes 和 maxtasksperchild 如何协同工作？我可以将processes 设置为 10 并且仍然只有 4 个工作人员在运行（实际上有 6 个进程空闲吗？）

Answer 1

正如doc 所说（也在你的描述中），

processes是可以一起运行的parallel worker的数量，如果不设置，它将与您计算机中的CPU数量相同。

maxtasksperchild 是每个进程可以处理的最大任务数，这意味着如果完成的任务数达到 maxtasksperchild，则该进程将被杀死并启动一个新进程并添加到池中

让我检查一下代码：

def f(x):
    print "pid: ", os.getpid(), " deal with ", x
    sys.stdout.flush()

if __name__ == '__main__':
    pool = Pool(processes=4, maxtasksperchild=2)
    keys = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    result = pool.map(f, keys)

这里我们使用 4 个进程，每个进程在执行 2 个任务后都会被杀死。代码执行后，可以看到：

pid:  10899  deal with  1
pid:  10900  deal with  2
pid:  10901  deal with  3
pid:  10899  deal with  5
pid:  10900  deal with  6
pid:  10901  deal with  7
pid:  10902  deal with  4
pid:  10902  deal with  8
pid:  10907  deal with  9
pid:  10907  deal with  10

进程 [10899-10902] 在每个进程执行 2 个任务后被杀死，并使用新进程 10907 执行最后一个。

作为比较，如果我们使用更大的 maxtasksperchild 或默认值（这意味着进程永远不会被杀死并且只要 Pool 就活着），如下代码：

if __name__ == '__main__':
    pool = Pool(processes=4, maxtasksperchild=10)
    keys = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    result = pool.map(f, keys)

结果：

pid:  13352  deal with  1
pid:  13353  deal with  2
pid:  13352  deal with  4
pid:  13354  deal with  3
pid:  13353  deal with  6
pid:  13352  deal with  7
pid:  13355  deal with  5
pid:  13354  deal with  8
pid:  13353  deal with  9
pid:  13355  deal with  10

如您所见，没有创建新流程，所有任务都使用原来的 4 个流程完成。

希望这个有用~