当任何作业完成时，SLURM 是否可以触发脚本（由前端 SLURM 用户实现）？

Question

我们知道 SLURM 可以在工作完成时发送电子邮件。

除此之外，类似于作业完成时的邮寄机制：

[Q] SLURM 是否可以在任何作业完成时触发脚本（由前端-SLURM 用户实现）？

示例解决方案：这将迫使我让 while() 检查并等待提交的作业是否完成。这可能会消耗额外的 CPU 使用率。

jobID=$(sbatch -U user -N1 run.sh | cut -d " " -f4-);
job_state=$(sacct -j $jobID --format=state  | tail -n1 | head -n1)
while [ $job_state != $completed ]
do
    job_state=$(sacct -j $jobID --format=state  | tail -n1 | head -n1)
done
my_script.sh//When any job completed I want SLURM to trigger my_script.sh if possible.

请注意：有人告诉我，每 1 秒进行一次 while 检查可能效率低下。 Is doing `while ps -p $PID; do sleep 1; ` until a script is completed efficient?

感谢您宝贵的时间和帮助。

Answer 1

一个选项是（ab）在slurm.conf 中使用MailProg 选项。它最初旨在成为用于在完成工作后向用户发送电子邮件的程序的完全限定路径。但是该程序可以做任何其他事情。它通过命令行参数接收作业 ID 和一些其他信息。

所以你可以用MailProg=/path/to/my_script.sh 配置slurm。并且您需要确保客户端添加了--mail-type 选项，或者它是通过作业提交插件自动添加的。

脚本可能具有以下结构（未经测试）：

#!/bin/bash

# First to the wanted behaviour
jobid=$(echo $2 | cut -d= -f2 | cut -d' ' -f 1|cut -d_ -f1)
event=$(echo $2 | awk 'print $4')

case $event in
Started)
    job_startup_script $jobid 
    ;; 
Ended|Failed|TIMEOUT)
    job_end_script $jobid
    ;; 
esac

# Then send the email to get the usual behaviour
/bin/mail "$@"

脚本将从 Slurm 接收如下参数：

SLURM Job_id=<Job-ID> Name=<JobName> <Status>, Run time <RunTime>

如果脚本 job_startup_script 很长，请以 nohup 开头，并使用与号 (&) 使其成为后台进程。

还要确保SlurmUser 可以读取和执行所有脚本