在多 GPU 节点上使用 NVIDIA MPS 服务的 MPI 运行问题答案

【问题标题】：MPI running issue using NVIDIA MPS Service on Multi-GPU nodes在多 GPU 节点上使用 NVIDIA MPS 服务的 MPI 运行问题
【发布时间】：2017-01-24 03:35:23
【问题描述】：

在多 GPU 节点上使用 NVIDIA MPS 服务运行 MPI 代码时遇到问题。

我使用的系统有 2 个 K80 GPU（总共 4 个 GPU）。

基本上，我先将GPU模式设置为exclusive_process：

nvidia_smi -c 3

然后我启动 MPS 服务：

nvidia-cuda-mps-control -d

当我增加进程数并运行我的代码时，我收到以下错误：

 all CUDA-capable devices are busy or unavailable

这是一个例子：

这是我的代码：

#include <stdio.h>
#include <stdlib.h>
#include "cuda_runtime.h"
#include "mpi.h"
#define __SIZE__ 1024

int main(int argc, char **argv)
{

    cudaError_t cuda_err = cudaSuccess;
    void *dev_buf;

    MPI_Init(&argc, &argv);

    int my_rank = -1;
    int dev_cnt = 0;
    int dev_id = -1;

    MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);

    cuda_err = cudaGetDeviceCount(&dev_cnt);
    if (cuda_err != cudaSuccess)
        printf("cudaGET Error--on rank %d %s\n", my_rank, cudaGetErrorString(cuda_err));

    dev_id = my_rank % dev_cnt;

    printf("myrank=%d dev_cnt=%d, dev_id=%d\n", my_rank, dev_cnt, dev_id);

    cuda_err = cudaSetDevice(dev_id);
    if (cuda_err != cudaSuccess)
        printf("cudaSet Error--on rank %d %s\n", my_rank, cudaGetErrorString(cuda_err));

    cuda_err = cudaMalloc((void **) &dev_buf, __SIZE__);
    if (cuda_err != cudaSuccess)
        printf("cudaMalloc Error--on rank %d %s\n", my_rank, cudaGetErrorString(cuda_err))
    else
        printf("cudaMalloc Success++, %d \n", my_rank);


    MPI_Finalize();
    return 0;
}

这是 12 个进程的输出：

#mpirun -n 12 -hostfile hosts ./hq_test

myrank=0 dev_cnt=4, dev_id=0
myrank=1 dev_cnt=4, dev_id=1
myrank=2 dev_cnt=4, dev_id=2
myrank=3 dev_cnt=4, dev_id=3
myrank=4 dev_cnt=4, dev_id=0
myrank=5 dev_cnt=4, dev_id=1
myrank=6 dev_cnt=4, dev_id=2
myrank=7 dev_cnt=4, dev_id=3
myrank=8 dev_cnt=4, dev_id=0
myrank=9 dev_cnt=4, dev_id=1
myrank=10 dev_cnt=4, dev_id=2
myrank=11 dev_cnt=4, dev_id=3
cudaMalloc Success++, 8
cudaMalloc Success++, 10
cudaMalloc Success++, 0
cudaMalloc Success++, 1
cudaMalloc Success++, 3
cudaMalloc Success++, 7
cudaMalloc Success++, 9
cudaMalloc Success++, 6
cudaMalloc Success++, 4
cudaMalloc Success++, 2
cudaMalloc Success++, 5
cudaMalloc Success++, 11

这是 14 个进程的输出：

 #mpirun -n 14 -hostfile hosts ./hq_test

myrank=0 dev_cnt=4, dev_id=0
myrank=1 dev_cnt=4, dev_id=1
myrank=2 dev_cnt=4, dev_id=2
myrank=3 dev_cnt=4, dev_id=3
myrank=4 dev_cnt=4, dev_id=0
myrank=5 dev_cnt=4, dev_id=1
myrank=6 dev_cnt=4, dev_id=2
myrank=7 dev_cnt=4, dev_id=3
myrank=8 dev_cnt=4, dev_id=0
myrank=9 dev_cnt=4, dev_id=1
myrank=10 dev_cnt=4, dev_id=2
myrank=11 dev_cnt=4, dev_id=3
myrank=12 dev_cnt=4, dev_id=0
myrank=13 dev_cnt=4, dev_id=1
cudaMalloc Success++, 11
cudaMalloc Success++, 3
cudaMalloc Success++, 7
cudaMalloc Success++, 2
cudaMalloc Success++, 10
cudaMalloc Success++, 6
cudaMalloc Success++, 1
cudaMalloc Success++, 8
cudaMalloc Error--on rank 13 all CUDA-capable devices are busy or unavailable
cudaMalloc Error--on rank 5 all CUDA-capable devices are busy or unavailable
cudaMalloc Error--on rank 9 all CUDA-capable devices are busy or unavailable
cudaMalloc Error--on rank 4 all CUDA-capable devices are busy or unavailable
cudaMalloc Error--on rank 0 all CUDA-capable devices are busy or unavailable
cudaMalloc Error--on rank 12 all CUDA-capable devices are busy or unavailable

注意：我已经尝试更改 CUDA_DEVICE_MAX_CONNECTIONS 值，但没有帮助。

如果您能与我分享您对此的想法，我将不胜感激。

【问题讨论】：

您是否尝试将 gpu 模式恢复为默认模式？
为什么要启用 MPS 服务？虽然我已经做到了，但仍然遇到同样的问题。
MPS documentation 明确建议将暴露给 MPS 服务器的 GPU 设置为 EXCLUSIVE_PROCESS。请参阅第 2.3.1.2 节
我建议您包含失败案例的 MPS 服务器日志。将其编辑到您的问题中。还要指出您使用的是哪个 CUDA 版本

标签： cuda mpi nvidia

【解决方案1】：

根据交叉发布here 中的信息（MPS 服务器日志），在这种情况下，服务器日志表明MPS Documentation 第 4.4 节中介绍了一个已知问题：

内存分配 API 调用（包括上下文创建）可能会失败，并出现以下情况服务器日志中的消息：MPS 服务器未能创建/打开 SHM 段。评论：这很可能是由于用尽了您的文件描述符限制系统。检查允许的最大打开文件描述符数系统并在必要时增加。我们建议将其设置为 16384 或更高。通常可以通过命令“ulimit –n”检查此信息；参考你的有关如何更改限制的操作系统说明。

【讨论】：