有没有办法报告/分享 Numba prange 循环的结果？答案

【问题标题】：Is there any way at all to report / share results from a Numba prange loop?有没有办法报告/分享 Numba prange 循环的结果？
【发布时间】：2021-07-18 23:17:39
【问题描述】：

我有一个大的 prange 循环，可以在这里有效地执行一些过程。我想跟踪他们中的一个何时找到更好的结果。但是，在 prange 循环中写入变量似乎会创建一个新的私有变量，因此无法以这种方式共享数据。

这是一个典型的例子：这个 prange 在许多数组中搜索最大的随机值。我希望他们“合作”，以便只打印一个新的最高值：

import numpy as np
from numba import jit, prange

@jit(nopython=True, parallel=True)
def test():
    arr = np.random.rand(1000, 15000000)

    largest_value = 0
    for i in prange(arr.shape[0]):
        for val in arr[i]:
            if val > largest_value:
                print('NEW LARGEST VALUE: ' + str(int(largest_value * 100000000)))
                largest_value = val

test()

运行这将打印虚假值，例如：

...
NEW LARGEST VALUE: 85809181
NEW LARGEST VALUE: 93504938
NEW LARGEST VALUE: 75796671
NEW LARGEST VALUE: 83944676
NEW LARGEST VALUE: 99068766

这是因为每个线程在写入 largest_value 时都会创建一个本地私有副本，因此他们无法以这种方式分享他们的发现。

有什么技巧可以让这成为可能吗？共享内存？有什么我想念的吗？还有什么？

【问题讨论】：

标签： python numba

【解决方案1】：

线程之间共享数据的解决方案是在并行循环之前创建一个数组，这样线程就可以在并行循环中填充共享数组。请注意，在写入共享数组时应小心false-sharing（为了性能）。

在某些情况下，您只需要编写每个线程的信息。在这种情况下，您可以分配一个大小为get_num_threads() 的数组（可能更大以防止错误共享）并写入get_thread_id() 提供的位置。这些功能应该由 Numba 在并行循环中提供。您可以在documentation 中找到更多相关信息。

请注意，执行此操作的旧/手动方法是使用额外的包含循环 for threadId in prange(get_num_threads()) 并使用 threadId 作为共享数组的索引。因此，必须手动划分迭代空间，以便线程之间平均共享工作（这样做有点麻烦）。幸运的是，不再需要这个解决方案（至少在最简单的情况下）。

【讨论】：