并行写入对象字典

Question

我有一个对象字典，我想使用 multiprocessing 包填充这个字典。这段代码并行“运行”多次。

Data=dict()
for i in range:
   Data[i]=dataobj(i) #dataobj is a class I have defined elsewhere
   proc=Process(target=Run, args=(i, Data[i]))
   proc.start()

“运行”在哪里进行一些模拟，并将输出保存在 dataobj 对象中

def Run(i, out):
    [...some code to run simulations....]
    out.extract(file)

我的代码创建一个对象字典，然后并行修改该字典中的对象。这可能吗，还是每次修改共享字典中的对象时都需要获取锁？

Answer 1

基本上，当您使用多处理时，您的进程共享原始对象字典的副本，从而填充不同的对象。 multiprocessing 包为您处理的是在进程之间传递 python 对象的消息，以减少痛苦。

解决您的问题的一个好的设计是让主进程处理填充字典，并让其子进程处理工作。然后使用队列在子进程和主进程之间交换数据。

作为一般的设计理念，可以做到以下几点：

from queue import Queue

queues = [Queue(), Queue()]

def simulate(qin, qout):
    while not qin.empty():
        data = qin.pop()
        # work with the data
        qout.put(data)
    # when the queue is empty, the process ends

Process(target=simulate, args=(queues[0][0],queues[0][1])).start()
Process(target=simulate, args=(queues[1][0],queues[1][1])).start()

processed_data_list = []

# first send the data to be processed to the children processes
while data.there_is_more_to_process():
    # here you have to adapt to your context how you want to split the load between your processes
    queues[0].push(data.pop_some_data())
    queues[1].push(data.pop_some_data())

# then for each process' queue 
for qin, qout in queues:
    # you populate your output data list (or dict or whatever)
    while not qout.empty:
        processed_data_list.append(qout.pop())
# here again, you have to adapt to your context how you handle the data sent
# back from the children processes.

不过，这只是一个设计思路，因为这段代码有一些设计缺陷，在处理真实数据和处理函数时自然会得到解决。