共享内存并行化

Question

我有一个大小为n 的向量v，我需要使用此代码将每个条目递增1：

 for output_diff in results:
     for i in n:
         if (output_diff & (1 << i)):
             v[i] += 1

结果的大小约为 10 000 000，n = 4096 的大小。如何在 python 中使用并行或多处理来做到这一点？我尝试使用 How to implement a reduce operation in python multiprocessing? 中的想法，但它比串行方式花费的时间更长。

Answer 1

如果您的操作需要很长时间（比如可能需要 30 秒或更长时间），那么您可能会受益于将 results 划分为您想要运行 python 进程的多个部分，并使用 python 的 multiprocessing 模块。如果操作不需要那么长时间，启动这些新进程的开销将超过使用它们的好处。

由于正在执行的操作不依赖于存储在v 中的值，因此每个进程都可以写入一个独立的向量，并且您可以在最后聚合结果。向每个进程传递一个与v 长度相同的0 向量v_prime。执行上述操作，每个进程处理results中的一部分output_diffs，并递增v_prime中的对应值而不是v。然后在最后，每个进程返回它的向量v_prime。将所有返回的 v_primes 和原始的 v 相加（这是将项目表示为 numpy 数组的地方，因为很容易添加相同长度的 numpy 向量）以获得正确的结果。