MPI all-to-all 通信问题

Question

我在数值模拟的进程之间传递大向量。一切正常，直到某个时间步长。我没有收到错误，但输出的解决方案显然不正确。

我现在调试了很长时间，我的假设是 MPI 通信中存在错误。

我的代码的通信部分如下所示：

MPI_Request req;
for(int j=0;j<numProcs;j++){
    if(j!=myId){
        tag=0;
        sizeToSend=toProc[j].size();
        MPI_Isend(&sizeToSend, 1, MPI_LONG_LONG, j, tag, MPI_COMM_WORLD,&req);
        MPI_Request_free(&req);
    }
}
for(int j=0;j<numProcs;j++){
    if(j!=myId){
        tag=0;
        MPI_Recv(&sizeToReceive[j], 1, MPI_LONG_LONG, j, tag, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
    }
}
for(int j=0;j<numProcs;j++){
    if(j!=myId){
        if(toProc[j].size()>0){
            tag=1;
            MPI_Isend(&toProc[j][0], toProc[j].size(), MPI_LONG_LONG, j, tag, MPI_COMM_WORLD,&req);
            MPI_Request_free(&req);
        }
    }
}
for(int j=0;j<numProcs;j++){
    if(j!=myId){
        if(sizeToReceive[j]>0){
            receiveBuffer.resize(sizeToReceive[j]);
            tag=1;
            MPI_Recv(&receiveBuffer[0], sizeToReceive[j], MPI_LONG_LONG, j, tag, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
            for(int k=0;k<sizeToReceive[j];k++){
                domain.field[receiveBuffer[k]]=1;
            }
            receiveBuffer.clear();
        }
    }
}
MPI_Barrier(MPI_COMM_WORLD);
for(int j=0;j<toProc.size();j++){
    toProc[j].clear();
}

变量numProcs 是一个包含进程数量的整数，myId 是一个包含进程等级的整数，tag 是一个整数，domain.field 是一个vector<char>。 其他必要的变量定义如下：

vector<vector <long long> > toProc;
toProc.resize(numProcs);
long long sizeToReceive[numProcs];
long long sizeToSend=0;
vector<long long> receiveBuffer;

我在上面的代码中尝试做的是发送向量toProc[j] 以在每个进程上使用id==j for j=0,...,numProcs-1, j!=myId 进行处理。 为了实现这一点，我在前两个 for 循环中发送和接收这些向量的大小，并在第三和第四个 for 循环中发送和接收实际数据。我使用 Isend 是因为我显然希望这些调用是非阻塞的。

toProc[j] 中的值是索引，必须在进程 j 的向量 domain.field 中设置为 1（每个进程都有自己的 domain.field）。

我的问题是： 在我对 Isend-Recv 策略的使用中，您是否看到任何潜在的意外行为。

Answer 1

您正在为多个 ISend 请求重用一个变量，而无需等待完成。

MPI Standard: 3.7.2 和 3.7.4 关于MPI_Request_free

非阻塞发送调用表明系统可能开始复制 发送缓冲区中的数据。发件人不得修改任何部分 调用非阻塞发送操作后的发送缓冲区，直到 发送完成。

这意味着，您不能在发送完成之前覆盖sizeToSend。

将请求对象标记为释放并将请求设置为 MPI_REQUEST_NULL。与 请求将被允许完成。请求将被释放 仅在完成后。

这意味着，发送不能保证在MPI_Request_free之后完成。

您可以重组代码以将 sizeToSend 保留在向量中，并将打开的请求保留在向量中以正确地 MPI_Waitall 对它们进行处理。但我建议在整个操作中只使用MPI_Alltoall 和MPI_Alltoallv。