并行执行多个作业时指定 SLURM 资源

Question

根据What does the --ntasks or -n tasks does in SLURM? 此处的答案，可以通过ntasks sbatch 参数后跟srun 并行运行多个作业。问一个后续问题——当像这样并行运行作业时，如何指定所需的内存量？

如果说 3 个作业并行运行，每个作业需要 8G 内存，是在 sbatch 中指定 24G 内存（即所有作业的内存总和）还是在 sbatch 中不提供内存参数，而是指定 8G每个srun 的内存？

Answer 1

你需要在sbatch提交的脚本中指定内存需求，否则你会得到默认的内存分配，这可能不符合你的需求。如果您随后在 srun 调用中指定 8GB 内存，则如果默认内存低于此值，您可能最终无法启动任何作业，或者如果默认内存介于16 和 24GB。

您可以请求--mem=24GB，但这提供的灵活性不如指定--mem-per-cpu=8G。