使用 CUDA 感知 MPI 的要求答案

【问题标题】：Requirements for use of CUDA-aware MPI使用 CUDA 感知 MPI 的要求
【发布时间】：2015-03-10 14:55:54
【问题描述】：

我想通过this article 中描述的 CUDA 感知 MPI 在不同的 CUDA 设备之间交换数据。据我了解，以下代码应该可以完成这项工作：

#include <mpi.h>

int main( int argc, char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL, NULL );
  MPI_Comm_rank( MPI_COMM_WORLD, &rank );
  cudaMalloc( (void**)&ptr, elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr, elements, MPI_FLOAT, 1, 0, MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr, elements, MPI_FLOAT, 0, 0, MPI_COMM_WORLD, &status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

不幸的是，该程序在两个进程上执行时因段错误而崩溃，并显示以下消息：

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

我使用 OpenMPI 1.8.2 和 nvcc 6.5；据我所知，这些版本应该支持这个功能。

所以，我的问题是：我做错了什么？我错过了什么吗？我非常感谢任何关于如何获得最小工作示例的提示！

【问题讨论】：

这方面我不是很了解，但是按照简单的逻辑，你为什么不检查cudaMalloc()分配成功还是不需要？
我查了一下，发现不是这个问题。总的来说，我同意检查是个好主意，但在这里我只是尽量保持代码简短。

标签： c++ c cuda mpi

【解决方案1】：

几乎可以肯定，段错误是由于将设备指针传递给 MPI，而 MPI 需要主机指针。只有正确构建的 CUDA 感知 MPI 才能接受设备指针。仅仅拥有 OpenMPI 1.8.2 是不够的。您必须具有使用 CUDA 感知设置显式构建的 OpenMPI 版本。

对于 OpenMPI，

开始here

摘录：

如何构建具有 CUDA 感知支持的 Open MPI？

CUDA 感知支持意味着 MPI 库可以直接发送和接收 GPU 缓冲区。此功能存在于 Open MPI 1.7 系列及更高版本中。支持不断更新，因此不同版本中存在不同级别的支持。

配置 Open MPI 1.7、MPI 1.7.1 和 1.7.2

--with-cuda(=DIR)       Build cuda support, optionally adding DIR/include,
                      DIR/lib, and DIR/lib64


--with-cuda-libdir=DIR  Search for cuda libraries in DIR

以下是一些启用 CUDA 支持的配置命令示例。

在默认位置搜索。在 /usr/local/cuda/include 中查找 cuda.h，在 /usr/lib64 中查找 libcuda.so。
```
./configure --with-cuda
```
在 /usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h，在 /usr/lib64 的默认位置搜索 libcuda.so。
```
./configure --with-cuda=/usr/local/cuda-v4.0/cuda
```
在 /usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h，在 /usr/lib64 中搜索 libcuda.so。（和上一个一样）
```
./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64
```

如果找不到 cuda.h 或 libcuda.so 文件，则配置将中止。

注意：Open MPI 1.7.2 中存在一个错误，如果您使用 --enable-static 配置库，您将收到错误消息。要解决此错误，请将以下内容添加到您的配置行并重新配置。这会禁用 PML BFO 的构建，无论如何它大部分都未使用。此错误已在 Open MPI 1.7.3 中修复。

--enable-mca-no-build=pml-bfo

配置 Open MPI 1.7.3 及更高版本

使用 Open MPI 1.7.3 及更高版本，libcuda.so 库是动态加载的，因此无需在配置时指定它的路径。因此，您只需要 cuda.h 头文件的路径即可。

在默认位置搜索。在 /usr/local/cuda/include 中查找 cuda.h。
```
./configure --with-cuda
```
在 /usr/local/cuda-v5.0/cuda/include 中搜索 cuda.h。
```
./configure --with-cuda=/usr/local/cuda-v5.0/cuda
```

请注意，您不能使用 --disable-dlopen 进行配置，因为这会破坏 Open MPI 库动态加载 libcuda.so 的能力。

见

this FAQ entry 了解如何使用 CUDA 支持的详细信息。

请注意，这些说明假定您熟悉构建 OpenMPI。仅仅运行./configure ... 是不够的，之后还有make 和make 安装步骤。但上述配置命令是区分 CUDA 感知 OpenMPI 构建与普通构建的区别。

【讨论】：

谢谢！不幸的是，我使用的 MPI 实现是在 CUDA 支持下构建的（ompi_info --parsable -l 9 --all | grep mpi_built_with_cuda_support:value 提供mca:mpi:base:param:mpi_built_with_cuda_support:value:true），所以这不是问题。
我尝试在软件环境基本相同的另一台（更新得多的）设备（Tesla K40）上运行该程序。它在那里工作！我第一次尝试失败是在 Tesla T10 卡上。对此有何解释？跟计算能力有关系吗？
是的，它需要 Fermi 或更高版本。 “CUDA 驱动程序本机支持 GPUDirect 点对点传输和内存访问。您所需要的只是 CUDA Toolkit v4.0 和 R270 驱动程序（或更高版本）以及具有两个或多个 Fermi 或 Kepler 架构 GPU 的系统相同的 PCIe 总线。” developer.nvidia.com/gpudirect

【解决方案2】：

我将简单地总结讨论。代码正确，但可能会出现以下问题：

MPI 尚未使用 CUDA 支持构建（请参阅@Robert Crovella 的回答）。这可以通过调用来检查：

ompi_info --parsable -l 9 --all | grep mpi_built_with_cuda_support:value

如果一切都很好，应该给：

mca:mpi:base:param:mpi_built_with_cuda_support:value:true
GPU 的架构不支持该功能。需要 Fermi 或更高版本（请参阅@Christian Sarofeen 的评论）

原来第二个问题适用于我的情况。

【讨论】：