在多处理池中修改外部字典

Question

我正在尝试使用多处理池修改字典（文件）。但是，我做不到。

这是我正在尝试的：

import json
import multiprocessing



def teste1(_dict, _iterable):
    file1[f'{_iterable}'] = {'relevant': True}


file1 = {'item1': {'relevant': False}, 'item2': {'relevant': False}}

pool = multiprocessing.Pool(4)
manager = multiprocessing.Manager()
dicto = manager.dict()
pool.apply_async(teste1, (file1, file1))
print(file1)

但是，它仍然像以前一样打印出来：{'item1': {'relevant': False}, 'item2': {'relevant': False}}

一位高尚的灵魂能帮我解决这个问题吗？

Answer 1

您的方法存在多个问题：

1. 您正试图在多个进程之间共享字典 (file1)，但实际上是在共享它的副本。为了解决这个问题请参考：multiprocessing: How do I share a dict among multiple processes?

2. 您正在遍历字典的副本。尝试使用字典本身进行索引！

假设您需要的是一个字典，其中的值由并行进程更新，您有两种选择：

A.跨进程共享字典并遍历 keys，例如：

pool.apply_async(teste1, file1.keys())  # assuming file1 is properly shared

B.更简单的方法是根据并行运行 teste1 函数的返回值构造结果字典：

def teste1(dict_key):
    # some logic dependent on dict_key
    return {'relevant': True}


file1 = {'item1': {'relevant': False}, 'item2': {'relevant': False}}

pool = multiprocessing.Pool(4)
manager = multiprocessing.Manager()
dicto = manager.dict()
results = pool.map(teste1, file1.keys())
pool.close()
pool.join()

file2 = {k:v for k,v in zip(file1.keys(), results)}  # file1.keys() preserves the order so results and file1.keys() are corresponding
print(file2)