简单的 MPI 程序因大量进程而失败

Question

这是我的代码：

#include "mpi.h"
#include <stdio.h>

int main (int argc, char** argv) {

   int  numtasks, rank; 

   MPI_Init(&argc,&argv);

   MPI_Comm_size(MPI_COMM_WORLD,&numtasks);
   MPI_Comm_rank(MPI_COMM_WORLD,&rank);
   // the code fail with or without printf
   printf ("Number of tasks= %d My rank= %d\n", numtasks,rank);

   MPI_Barrier(MPI_COMM_WORLD);
   MPI_Finalize();
   return 0;
}

这就是我运行它和输出的方式：

$ mpirun -n 160 ./mpi_example1
[proxy:0:0@ubuntu] send_cmd_downstream (./pm/pmiserv/pmip_pmi_v1.c:80): assert (!closed) failed
[proxy:0:0@ubuntu] fn_get (./pm/pmiserv/pmip_pmi_v1.c:349): error sending PMI response
[proxy:0:0@ubuntu] pmi_cb (./pm/pmiserv/pmip_cb.c:327): PMI handler returned error
[proxy:0:0@ubuntu] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status
[proxy:0:0@ubuntu] main (./pm/pmiserv/pmip.c:226): demux engine error waiting for event
[mpiexec@ubuntu] control_cb (./pm/pmiserv/pmiserv_cb.c:215): assert (!closed) failed
[mpiexec@ubuntu] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status
[mpiexec@ubuntu] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:181): error waiting for event
[mpiexec@ubuntu] main (./ui/mpich/mpiexec.c:405): process manager error waiting for completion

当我使用 -n 128 或更低的代码运行代码时，它运行良好。我还尝试在 32 核 x 8 节点计算机上运行代码，并且能够运行到 -n 192，当我尝试 -n 224 时它失败了......

有什么建议吗？谢谢。

Answer 1

问题可能与您的 shell 可以生成的最大进程数有关。如何修改此设置取决于外壳的类型和操作系统。如果您使用的是 cshell 或 tcshell，您可以使用公共行中的“limit”命令来验证您的当前设置。可以在用户级别或根级别更改设置（有软限制和硬限制）。

Answer 2

这不是一个确定的答案，但它的评论太长了。

我查看了失败断言的来源。 codebase 略有不同，但我认为它足够接近。你的错误说断言在第 80 行失败，而here，断言HYDU_ASSERT(!closed, status); 在第 82 行。

违规调用位于第 77 行：

status = HYDU_sock_write(fd, cmd, strlen(cmd), &sent, &closed, HYDU_SOCK_COMM_MSGWAIT);

现在，HYDU_sock_write 的代码表明closed 标志将被设置并且函数将在以下情况下中止操作

write(fd, (char *) buf + *sent, maxlen - *sent); @line 278 失败并显示errno == ECONNRESET。

现在this write 的文档说："[ECONNRESET] 尝试在未连接的套接字上写入。”

您确定网络工作正常吗？似乎套接字已断开连接。