python multiprocessing：为每个工作人员提供一个特定的参数

Question

我正在使用Pool 的工人，并希望他们每个人都使用特定的对象进行初始化。更确切地说，初始化不能并行化，所以我打算在创建worker之前准备好主进程中的对象，并给每个worker一个这些对象。

这是我的尝试：

import multiprocessing
import random
import time

class Foo:
    def __init__(self, param):
        # NO WAY TO PARALLELIZE THIS !!
        print(f"Creating Foo with {param}")
        self.param = param

    def __call__(self, x):
        time.sleep(1)
        print("Do the computation", self)
        return self.param + str(x)

def initializer():
    global myfoo

    param = random.choice(["a", "b", "c", "d", "e"])
    myfoo = Foo(param)

def compute(x):
    return myfoo(x)

multiple_results = []
with multiprocessing.Pool(2, initializer, ()) as pool:
    for i in range(1, 10):
        work = pool.apply_async(compute, (i,))
        multiple_results.append(work)

    print([res.get(timeout=2) for res in multiple_results])

这是一个可能的输出：

Creating Foo with b
Creating Foo with a
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
Do the computation <__main__.Foo object at 0x7f8d70aa7fd0>
['b1', 'a2', 'b3', 'a4', 'b5', 'a6', 'b7', 'a8', 'b9']

让我感到困惑的是Foo 对象的地址始终相同，而实际的Foo 对象却不同，从输出中可以看出："b1", "a2"。

我的问题是对initializer 的两次调用是并行的，而我不想并行构造Foo。

我想要一些神奇的方法add_worker 来做这样的事情：

pool = multiprocessing.Pool()
for i in range(0,2):
    foo = Foo()
    poo.add_worker(initializer, (foo,))

有什么想法吗？

编辑：我通过在进程内部而不是在文件顶部制作 kera 的 VGGNet 的import 解决了我真正的生活问题。见this answer 出于好奇，我仍然对答案感兴趣。

Answer 1

正如您所说，您可以看到 Foo 的实例对于每个工人来说实际上是不同的，即使它们显然具有相同的地址。

正如对this question 和this question 的回答中所述，您不应依赖地址来区分不同进程上的实例：不同的实例可以显示相同的地址。