为什么多处理不能并行工作？ [复制]

Question

我正在尝试使用 4 个不同的输入并行执行相同的功能。 它在总输入小于 10^5 时起作用，但当它变大时它开始同时工作。

 def subList_process(instance):
    print("start")
    l = List(dataSet=instance)
    l.shuffle_set()
    l.sort_set()
    print("done")

   if __name__ == '__main__': 
    p=[]
    p.append(multiprocessing.Process(target=subList_process,args=(lists[0],)))
    p.append(multiprocessing.Process(target=subList_process,args=(lists[1],)))
    p.append(multiprocessing.Process(target=subList_process,args=(lists[2],)))
    p.append(multiprocessing.Process(target=subList_process,args=(lists[3],)))
    
    for process in p : process.start()
    for process in p : process.join()

这是具有两种不同数据大小的输出：

• 10^4

• 10^6

我能否解释一下当数据量相对较大时发生了什么？ 我该如何解决？

Answer 1

多处理需要序列化（即pickle）主进程中的参数并将其发送到子进程。由于您的并行化函数非常快，因此该函数在下一组输入参数被序列化之前就完成了。

编辑：回复您的评论 没有很好的方法来解决这个问题，但这里有一些替代方法：

• 尝试传递有关如何创建参数而不是参数本身的说明。例如，如果您的输入是使用创建者函数生成的，那么只需在子流程中调用创建者函数即可。
• 如果您只创建一次并且相对频繁地读取它们，请将它们存储在磁盘上。特别是如果您有 SSD 驱动器，您可以从子进程中的磁盘读取参数（例如，以 pickle 文件的形式）。这可能会更快。