NUMA 感知 Cpp 容器答案

【问题标题】：NUMA aware Cpp ContainerNUMA 感知 Cpp 容器
【发布时间】：2016-08-28 15:37:24
【问题描述】：

是否有一种方便有效的方式以可识别 NUMA 的方式使用 cpp 标准容器 API？

我想在 cpp 环境中进行 OpenMP 并行稀疏矩阵向量乘法。为了分配和初始化与 NUMA 域有关的向量和矩阵值，C 代码看起来像这样：

size_t N = 1000000;
double* vecVal = malloc (N*sizeof(double));

#pragma OMP parallel for
for (size_i=0; i<N; ++i)
{
    vecVal[i] = 0.;
}
/* do spMV */
delete vecVal;

在 Cpp 中，我想使用 std::vector（具有固定大小的 std::array 也可以）。 std::vector::reserve() 能解决问题吗？这样做是否合法：

std::vector<double> vec;
vec.reserve(N);
double *vecVal = vec.data();

#pragma OMP parallel for
for (size_i=0; i<N; ++i)
{
    vecVal[i] = 0.;
}
/* do spMV */

之后如何为 std::vector 设置正确的大小？

有人知道更优雅的方式吗？

【问题讨论】：

resize() 不支持 NUMA，因为它会初始化一个 NUMA 域上的所有值（第一次触摸）
对于 NUMA 感知代码到 delete 和 malloced 内存是否有特殊意义？

标签： c++ performance memory-management parallel-processing numa

【解决方案1】：

您必须在这里使用特殊的 numa 感知分配器。我们在这里为 HPX 实现了类似的功能：https://github.com/STEllAR-GROUP/hpx/blob/master/hpx/parallel/util/numa_allocator.hpp

基本思想是在分配器内部进行第一次接触 allocate 函数。用你的 #omp parallel for schedule(static) 循环替换 HPX 执行器的东西，你应该没问题。

【讨论】：