我在 python-multiprocessing/multithreading 中缺少什么？

Question

我在 numpy.xml 中创建、相乘然后求和两个大矩阵的所有元素。我用两种方法做了几百次，一个循环和multiprocessing 模块的帮助（见下面的片段）。

def worker_loop(n):
  for i in n:
    mul = np.sum(np.random.normal(size=[i,i])*np.random.normal(size=[i,i]))

def worker(i):
  mul = np.sum(np.random.normal(size=[i,i])*np.random.normal(size=[i,i]))

n = range(100,300)

pool = ThreadPool(2)
pool.map(worker, n)
pool.close()
pool.join()

worker_loop(n)

测量时间表明 循环 比multiprocessing 快。我也尝试了threading 模块但没有成功（然后我读到这是一个坏主意；阅读更多here）

我开始尝试多线程，因为我需要将图像、标签、边界框等转换为 tfrecord。为此，我正在研究来自 tensorflow/inception 的文件（如果您想了解build_imagenet_data.py, line 453）。我相信多线程在这里起作用，这就是他们使用它的原因。

说到这里，我的问题可以如下提出，

• 我的代码中缺少什么；是否可以通过一些小的修改来实现某些目标？
• 是否因为 tensorflow 是用 c++ 和 CUDA 编写的，所以 inception 中的示例是否有效？
• 什么时候最好使用带有 numpy、tensorflow 等的多处理或多线程？

Answer 1

总会有一些开销（同步、数据准备、数据复制等）。

但是：如果设置良好，您在 numpy 中的矩阵向​​量和向量向量操作已经是多线程的，使用 BLAS（这是包括 numpy 在内的所有地方使用的最先进的标准， matlab 和可能是 tensorflow 的 cpu 后端；虽然有不同的实现）。

因此，如果 BLAS 能够占用您的所有内核（大尺寸更容易），您只会看到开销。

是的，它的核心中的 tensorflow 将由 C/C++/Fortran 和 BLAS 中的至少一个实现，因为它的 CPU 后端和一些针对 GPU 的 Cuda-libs。这也意味着，作为梯度计算和优化计算的核心算法永远不需要外部并行化（在所有用例的 99.9% 中）。