mpirun 在一定数量的进程上崩溃

Question

尝试使用 MPI 运行简单的“hello world”程序时遇到一个奇怪的问题。

我最终想为我在 python 中编写的这个 MPI 脚本使用 100 个进程，甚至能够早先运行多达 100 个进程的 hello world 测试。但是，现在当我尝试使用大约 50 个进程运行脚本时，我一直遇到同样的错误。

我看到的具体错误似乎是在说明：

ORTE_ERROR_LOG: The system limit on number of network connections a process can open was reached in file util/listener.c at line 321

在尝试对此进行研究后，我了解到这与文件描述符耗尽的进程有关，并且似乎最常见的解决方案表明文件未正确关闭。但是，我的问题是，我没有打开任何文件？我的脚本只是：

print('I am process:', rank)

那么问题可能源于这里？

Answer 1

我似乎找到了一个轻微的解决方法。

我正在使用 Mac，因此我假设早些时候我能够保持在操作系统设置的某个默认数量的文件限制之下。通过配置最大文件限制，我能够绕过我最初达到的限制数量，导致我的程序崩溃。

这个修复并不理想，因为我的脚本现在需要很长时间才能运行，但它至少是一个临时的，直到我找到更好的修复。

如果有人想尝试这个，我找到的解决方案是由@tombigel 在 GitHub 上发布的，可以在 here 找到。