提升随机和 OpenMP

Question

我从 OpenMP 并行代码部分收到“总线错误”。我在下面重新创建了我的问题的简单版本。该代码本质上对函数 uniform_distribution 进行了多次调用，该函数使用 Boost 的 uniform_int_distribution 绘制 0 到 20000 之间的整数。

post 警告两个线程访问同一个对象。我猜在我的情况下是eng。 （不幸的是，我不知道如何编写“适当的互斥体包装器”，正如那篇帖子所暗示的那样）。

我想到的一个可能的肮脏解决方案是在#pragma for 循环内创建一个本地eng 并将其作为参数传递给uniform_distribution。我不喜欢这个想法，因为在我的真实代码中，我调用了许多函数，并且传递本地 eng 会很麻烦。另外，我担心的是，如果我在uniform_distribution 中声明eng，不同的线程会生成相同 随机数序列。所以我有两个要求：如何以某种方式并行化

1. 每个线程都在从其他线程生成概率独立的绘图？
2. RNG 上没有出现竞争条件？

谢谢；非常感谢任何帮助。

#include <omp.h>
#include <boost/random/uniform_int_distribution.hpp>

boost::random::mt19937  eng;

int uniform_distribution(int rangeLow, int rangeHigh) {
    boost::random::uniform_int_distribution<int> unirv(rangeLow, rangeHigh);
    return unirv(eng);
}
int main()
{  
    # pragma omp parallel for private(eng)
    for (int bb=0; bb<10000; bb++)
        for (int i=0; i<20000; i++)
             int a = uniform_distribution(0,20000);

    return 0;
}

Answer 1

我认为最方便的解决方案是使用thread_local RNG 和将线程 ID 作为每个线程的唯一编号的种子，例如，您可以在系统时间和线程 ID 之间进行 XOR 以播种RNG。类似于（使用 C++11）：

#include <omp.h>
#include <boost/random/uniform_int_distribution.hpp>

#include <thread>
#include <ctime>

boost::random::mt19937& get_rng_engine() {
  thread_local boost::random::mt19937 eng(
    reinterpret_cast<unsigned int>(std::time(NULL)) ^ std::this_thread::get_id());
  return eng;
};

（注意：如果要使用 C++11，也可以使用 <random>）

如果您不能使用 C++11，那么您可以使用 boost::thread 来获得类似的行为，请参阅 thread-local storage 上的 Boost 页面。

Answer 2

当您并行化某些代码时，您必须考虑共享资源，这可能会导致数据竞争，进而最终可能会破坏您的程序。 （注意：并非所有数据竞争都会破坏您的程序。）

在您的情况下，正如您正确预期的那样，eng 是由两个或多个线程共享的，为了正确执行必须避免这种情况。

您的情况的解决方案是私有化：为共享资源制作每个线程的副本。您需要创建一个单独的 eng 副本。

eng 有多种私有化方法：

(1) 尝试使用threadprivate 指令（link）：例如#pragma omp threadprivate(eng)。但是，某些编译器可能不支持该指令的非 POD 结构。

(2) 在threadprivate不可用的情况下，使用eng的数组并使用线程id访问：声明如eng[MAX_THREAD]。然后，使用线程 id 访问：eng[omp_get_thread()]。

但是，第二种解决方案需要考虑虚假共享，这会严重影响性能。最好保证eng[MAX_THREAD] 中的每个项目都分配在单独的缓存行边界上，在现代台式机CPU 中通常为64 字节。还有几种方法可以避免虚假共享。最简单的解决方案是使用填充：例如，char padding[x] 在包含 eng 的 struct 中。

Answer 3

你有两个选择：

• 每个线程都有单独的随机数生成器，并以不同的方式播种
• 使用互斥

先举个互斥的例子：

# pragma omp parallel for
for (int bb=0; bb<10000; bb++)
{
    for (int i=0; i<20000; i++)
    {
        // enter critical region, disallowing simulatneous access to eng
        #pragma omp critical
        {
            int a = uniform_distribution(0,20000);
        }
        // presumably some more code...
    }
    // presumably some more code...
}

接下来，一个带有种子的线程本地存储示例：

# pragma omp parallel
{
    // declare and seed thread-specific generator
    boost::random::mt19937 eng(omp_get_thread_num());
    #pragma omp for
    for (int bb=0; bb<10000; bb++)
    {
        for (int i=0; i<20000; i++)
        {
            int a = uniform_distribution(0,20000, eng);
            // presumably some more code...
        }
        // presumably some more code...
    }
}

这两个 sn-ps 都只是说明性的，根据您的要求（例如安全相关、游戏与建模），您可能希望选择其中一个。您可能还想更改确切的实现以适合您的使用。例如，如果您希望生成器可重复或更接近真正随机（是否可能是系统特定的），那么如何播种生成器很重要。这同样适用于两种解决方案（尽管在互斥情况下要获得可重复性更难）。

线程本地生成器可能运行得更快，而互斥情况应该使用更少的内存。

编辑：需要明确的是，互斥解决方案只有在随机数的生成不是线程工作的大部分时才有意义（即示例中的 // presumably some more code... 存在并且不'不要花费微不足道的时间来完成）。关键部分只需要包含对共享变量的访问，稍微改变你的架构可以让你更好地控制它（在线程本地存储的情况下，也可以让你避免传递eng 引用）