MPI 信号处理

Question

使用mpirun时，是否可以在正在运行的代码中捕获信号（例如^C生成的SIGINT）？

例如，我正在运行一个并行化的 Python 代码。我可以 except KeyboardInterrupt 在自己运行 python blah.py 时捕获这些错误，但在运行 mpirun -np 1 python blah.py 时我不能。

有人有建议吗？即使找到如何在 C 或 C++ 编译的程序中捕获信号也是一个有益的开始。

如果我向生成的 Python 进程发送信号，它们可以正确处理信号；但是，发送到父 orterun 进程的信号（即来自集群上超过挂墙时间，或在终端中按 control-C）会立即杀死所有内容。

Answer 1

我认为这真的取决于实现。

• 在 SLURM 中，我尝试使用 sbatch --signal USR1@30 将 SIGUSR1（其符号为 30,10 或 16）发送到由 srun 命令启动的程序。并且进程收到信号SIGUSR1 = 10。

• 对于IBM的平台MPI，根据https://www.ibm.com/support/knowledgecenter/en/SSF4ZA_9.1.4/pmpi_guide/signal_propagation.html

SIGINT, SIGUSR1, SIGUSR2 将被绕过到进程。

• 在 MPICH 中，进程管理器使用 SIGUSR1 进行异常故障的内部通知。 参考：http://lists.mpich.org/pipermail/discuss/2014-October/003242.html>

• Open MPI on other had 会将 SIGUSR1 和 SIGUSR2 从 mpiexec 转发到其他进程。 参考：http://www.open-mpi.org/doc/v1.6/man1/mpirun.1.php#sect14>

• 对于 IntelMPI，根据https://software.intel.com/en-us/mpi-developer-reference-linux-hydra-environment-variables

I_MPI_JOB_SIGNAL_PROPAGATION和I_MPI_JOB_TIMEOUT_SIGNAL可以设置发送信号。

还有一点值得注意：对于很多python脚本来说，它们会通过cython调用其他库或代码，如果SIGUSR1被子进程捕获，可能会发生一些不希望的事情。

Answer 2

如果您使用mpirun --nw，那么mpirun 本身应该在子进程启动后立即终止，而不是等待它们终止；如果这是可以接受的，那么我相信您的进程将能够捕捉到自己的信号。

Answer 3

signal 模块支持使用signal.signal 设置信号处理程序：

将信号signalnum的处理程序设置为函数处理程序。 handler 可以是一个可调用的 Python 对象，带有两个参数（见下文），或者是特殊值 signal.SIG_IGN 或 signal.SIG_DFL 之一。将返回之前的信号处理程序...

import signal
def ignore(sig, stack):
  print "I'm ignoring signal %d" % (sig, )

signal.signal(signal.SIGINT, ignore)
while True: pass

如果您将SIGINT 发送到运行此脚本的Python 解释器（通过kill -INT <pid>），它将打印一条消息并继续运行。