强制 LSF 在不同的主机上执行作业

Question

我有一个由 3 个工作人员和一个管理节点组成的设置，用于提交任务。我想在所有工作人员上同时执行一个设置脚本：

bsub -q queue -n 3 -m 'h0 h1 h2' -J "%J_%I" mpirun setup.sh

据我了解，我可以使用“ptile”资源约束来强制所有工作人员执行：

bsub -q queue -n 3 -m 'h0 h1 h2' -J "%J_%I" -R 'span[ptile=1]' mpirun setup.sh

但是，有时我会遇到一个问题，即我的脚本在同一个工作人员处执行了多次。

这是预期的行为吗？还是我的设置有错误？有没有更好的方法来强制执行多工人执行？

Answer 1

你对span[ptile=1]的理解是正确的。 LSF 将只为您的工作使用每个主机 1 个核心。如果基于 -n 没有足够的主机，那么作业将挂起，直到有东西释放。

但是，有时我会遇到脚本被执行的问题 多次在同一个工人身上。

我怀疑它与您的脚本有关。例如，默认情况下，LSF 追加到标准输出文件。使用-oo 覆盖。