在 slurm 下运行的 mpi 程序受控提前终止？

Question

我正在运行一个脚本，该脚本通过slurms squeue 命令执行多个后续mpirun 调用。每次调用 mpirun 都会将其输出写入自己的目录，但它们之间存在依赖关系，即给定运行将使用前运行输出目录中的数据。

mpi 程序在内部执行一些迭代优化算法，如果满足某些收敛条件，该算法将终止。每隔一段时间就会发生这种情况，算法会达到一个尚未完全满足这些标准的状态，但是通过绘制输出（连续写入磁盘），我们可以很容易地判断出重要的事情已经收敛，并且进一步的迭代不会再改变最终结果的性质。

因此，我正在寻找一种以受控方式手动终止运行并让外部脚本继续进行下一个 mpirun 调用的方法。 实现这一点的最佳方法是什么？我无法直接访问实际执行计算的节点，但我当然可以访问所有 slurms 命令和工作目录个人跑。我可以访问 mpi 程序的完整源代码。

一种可行的解决方案如下：如果要手动终止运行，可以在工作目录中放置一个具有特殊名称（如killme）的文件，这可以通过touch killme 轻松完成。 mpi 程序会定期检查此文件是否存在，如果存在则以受控方式终止。这里根本不涉及外部脚本或 slurm，脚本将继续下一个 mpirun 调用。 您如何看待这个解决方案？你能想出更好的办法吗？

Answer 1

这是一个短代码 sn-p 用于获取 SIGUSR1 作为信号。 更详细的解释可以看here。

#include <stdio.h>
#include <stdlib.h>
#include <signal.h>
#include <string.h>
#include <unistd.h>

void sighandler(int signum, siginfo_t *info, void *ptr) {
    fprintf(stderr, "Received signal %d\n", signum);
    fprintf(stderr, "Signal originates from process %lu\n",
            (unsigned long) info->si_pid);
    fprintf(stderr, "Shutting down properly.\n");
    exit(0);
}

int main(int argc, char** argv) {
    struct sigaction act;
    printf("pid %lu\n", (unsigned long) getpid());

    memset(&act, 0, sizeof(act));

    act.sa_sigaction = sighandler;
    act.sa_flags = SA_SIGINFO;

    sigaction(SIGUSR1, &act, NULL);

    while (1) {
    };

    return 0;
}