使用多处理改进矩阵运算时间

Question

有一个 2d numpy 数组，我正在执行以下操作：

rows_count = matrix.shape[0]
mr = []
for i in range(0, rows_count-1):
    for j in range(i+1, rows_count):
        mr.append(matrix[i,:] ^ matrix[j:])

这正是我想要的，但对于大型输入数组来说太慢了。这就是为什么我想使用multiprocessing 来加速我的代码：

import multiprocessing as mp
import numpy as np

pool = mp.Pool(mp.cpu_count())
mr = pool.map(np.bitwise_xor,[(matrix[i,:],matrix[j,:]) for i in range(0, rows_count-1) for j in range(i+1, rows_count)])
pool.join()
pool.close()

但是，此代码的运行速度要慢几倍。如何正确使用multiprocessing（或其他概念）来加速我的代码？

Answer 1

结帐时间！

您的新代码将如下所示

from numba import jit

@jit(parallel=True) #yes this decorator and flag is all it takes to run the function in parallel
def my_time_cosuming_thing(mr=[],matrix=np.array(), rows_count=matrix.shape[0])

    for i in range(0, rows_count-1):
      for j in range(i+1, rows_count):
        mr.append(matrix[i,:] ^ matrix[j:])

    return mr

Numba 旨在通过尝试使它们并行运行来使 python 循环超级高效，请在 http://numba.pydata.org/ 上查看它

它还与 numpy 兼容，因此这应该会显着加快您的代码速度，它就像魔术一样，效果很好，我再也不会在没有它的情况下编写嵌套循环了