Multiprocessing Manager().dict() 更新失败

Question

我尝试像这样更新Manager().dict

from multiprocessing import Process, Manager

def f(d):
    print(d)
    d['a'][1] = 'something new'
    print(d)


if __name__ == '__main__':
    manager = Manager()

    d = manager.dict()
    d['a'] = {1: 3}

    print(d)

    p1 = Process(target=f, args=(d,))

    p1.start()
    p1.join()

    print(d)

但是，它会打印出来

{'a': {1: 3}}
{'a': {1: 3}}
{'a': {1: 3}}
{'a': {1: 3}}

我尝试d['a'] = Manager().dict({1: 3})，它可以打印预期的输出，但是当字典非常复杂时，这种解决方法非常低效。

我怎样才能像普通的dict 一样轻松更新Manager().dict？

Answer 1

您并没有真正更新Manager.dict，而是其中的常规dict，这不会传播。

来自docs：

如果标准（非代理）列表或字典对象包含在 引用，对这些可变值的修改将不会被传播 通过经理，因为代理无法知道何时 其中包含的值被修改。但是，将值存储在 容器代理（在代理对象上触发 setitem） 确实通过管理器传播，因此可以有效地修改此类 一个项目，可以将修改后的值重新分配给容器 代理...

因此，重新分配修改后的嵌套常规 dict 即可：

from multiprocessing import Process, Manager, current_process


def f(d):
    print(f"{current_process().name}: {d}")
    a = d['a']
    a[1] = 'something new'
    d['a'] = a
    print(f"{current_process().name}: {d}")


if __name__ == '__main__':

    with Manager() as m:
        d = m.dict()
        d['a'] = {1: 3}    
        print(f"{current_process().name}: {d}")

        p1 = Process(target=f, args=(d,))    
        p1.start()
        p1.join()

        # convert to regular dictionary before shutting down the
        # manager-process
        d = dict(d)

    print(f"{current_process().name}: {d}")

输出：

MainProcess: {'a': {1: 3}}
Process-2: {'a': {1: 3}}
Process-2: {'a': {1: 'something new'}}
MainProcess: {'a': {1: 'something new'}}

Process finished with exit code 0

对于 Python 3.6+，也可以嵌套代理：

from multiprocessing import Process, Manager, current_process
from multiprocessing.managers import DictProxy


def f(d):
    print(f"{current_process().name}: {unproxy_dict(d)}")
    d['a'][1] = 'something new'
    print(f"{current_process().name}: {unproxy_dict(d)}")


def unproxy_dict(dict_proxy):
    return {k: (dict(v) if isinstance(v, DictProxy) else v)
            for k, v in dict_proxy.items()}


if __name__ == '__main__':

    with Manager() as m:
        d = m.dict()
        d['a'] = m.dict({1: 3})  # nested Manager.dict
        print(f"{current_process().name}: {unproxy_dict(d)}")

        p1 = Process(target=f, args=(d,))    
        p1.start()
        p1.join()

        # convert to regular dictionaries before shutting down the
        # manager-process
        d = unproxy_dict(d)

    print(f"{current_process().name}: {d}")