当 MPI_FLOAT 的 count > 64 时，MPI_send 和 MPI_recv 挂起

Question

我在使用MPI_Send 和MPI_Recv 时遇到问题。当count <= 64的数量，整体问题运行没有任何问题，而对于count > 64，程序挂起。

有什么解决办法吗？该地址位于两个 GPU 上的全局内存地址上。

这是我使用的代码。当我设置 n<=64 时它可以工作，否则它会挂起。

#include <stdio.h>
#include <string.h>
#include <mpi.h>

int main(int argc, char *argv[])
{
    char *d_msg;
    int myrank, tag=99;
    MPI_Status status;

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &myrank);

    const int n = 65; // <-- number of FLOATs
    const int num_GPUs = 2;

    cudaMalloc((void**)&d_msg, n*sizeof(float)); 

    MPI_Send(d_msg, n, MPI_FLOAT, (myrank + 1)%num_GPUs, tag, MPI_COMM_WORLD);
    MPI_Recv(d_msg, n, MPI_FLOAT, (myrank - 1 + num_GPUs)%num_GPUs, tag, MPI_COMM_WORLD, &status);

    MPI_Finalize();
    return 0;
}

Answer 1

MPI_Send 是一个阻塞调用。您的进程都位于MPI_Send 中，等待对方调用MPI_Recv。 MPI_Send 可以对小消息进行非阻塞，这就是它适用于

可能的解决方案是：

• 在交流中以交替顺序调用MPI_Send 和MPI_Recv
• 使用MPI_Sendrecv
• 使用非阻塞通信 (MPI_Isend/MPI_Irecv)

这里最简单的可能是只使用MPI_Sendrecv 并将MPI_Send 和MPI_Recv 调用替换为

MPI_Sendrecv(d_msg, n, MPI_FLOAT, (myrank + 1)%num_GPUs, tag,
             d_msg, n, MPI_FLOAT, (myrank - 1 + num_GPUs)%num_GPUs, tag, MPI_COMM_WORLD, &status);