LSF 的批处理脚本，其中只有一个 MPI 进程有 2 个或更多线程

Question

我的程序使用 MPI+pthreads，其中 n-1 个 MPI 进程是纯 MPI 代码，而唯一一个 MPI 进程使用 pthreads。最后一个进程仅包含 2 个线程（主线程和 pthread）。假设我要在其上运行此程序的 HPC 集群由计算节点组成，每个计算节点有 12 个核心。我应该如何编写批处理脚本以最大限度地利用硬件？

以下是我编写的批处理脚本。我使用 export OMP_NUM_THREADS=2 因为最后一个 MPI 进程有 2 个线程，并且必须假设其他每个进程也有 2 个线程。

然后我为每个节点分配 6 个 MPI 进程，因此每个节点可以运行 6xOMP_NUM_THREADS = 12（=每个节点上的核心数）线程，尽管所有 MPI 进程都只有一个线程。

#BSUB -J LOOP.N200.L1000_SIMPLE_THREAD
#BSUB -o LOOP.%J
#BSUB -W 00:10
#BSUB -M 1024
#BSUB -N
#BSUB -a openmpi
#BSUB -n 20
#BSUB -m xxx
#BSUB -R "span[ptile=6]"
#BSUB -x

export OMP_NUM_THREADS=2

我怎样才能为此编写更好的脚本？

Answer 1

如果您希望最后一个等级成为混合等级，则以下方法应该有效：

#BSUB -n 20
#BSUB -R "span[ptile=12]"
#BSUB -x

$MPIEXEC $FLAGS_MPI_BATCH -n 19 -x OMP_NUM_THREADS=1 ./program : \
         $FLAGS_MPI_BATCH -n 1  -x OMP_NUM_THREADS=2 ./program

如果您希望 0 级成为混合级，只需切换两行：

$MPIEXEC $FLAGS_MPI_BATCH -n 1  -x OMP_NUM_THREADS=2 ./program : \
         $FLAGS_MPI_BATCH -n 19 -x OMP_NUM_THREADS=1 ./program

这利用了 Open MPI 的能力来启动 MIMD 程序。

您提到您的混合等级使用 POSIX 线程，但您正在设置与 OpenMP 相关的环境变量。如果您没有真正使用 OpenMP，则根本不必设置 OMP_NUM_THREADS，这个简单的 mpiexec 命令就足够了：

$MPIEXEC $FLAGS_MPI_BATCH ./program

（如果我对您学习或工作的教育机构的猜测有误，请删除$FLAGS_MPI_BATCH并将$MPIEXEC替换为mpiexec）

Answer 2

我使用 LSF 已经有一段时间了，所以这可能并不完全正确，所以你应该尝试一下。

我阅读了您的要求

#BSUB -n 20
#BSUB -R "span[ptile=6]"

as，一共 20 个任务，每个节点 6 个任务。这意味着您将获得 4 个节点。正如您所说，这似乎是一种浪费，每个节点都有 12 个核心。

如何使用节点上的所有核心，因为您已请求独占主机 (-x)

#BSUB -x
#BSUB -n 20
#BSUB -R "span[ptile=12]"

export OMP_NUM_THREADS=2

这样你就知道排名了

• 0..11 在第一台主机上
• 12..19 在第二台主机上

第二台主机有备用插槽，以利用等级 19 的 OpenMP。

当然，如果您要进入更有趣的职位，LSF 可以让您塑造职位。使用LSB_PJL_TASK_GEOMETRY。

假设您有 25 个 MPI 任务，使用 12 个内核，排名为 5

#BSUB -x
#BSUB -n 25
#BSUB -R "span[ptile=12]"

export LSB_PJL_TASK_GEOMETRY="{(0,1,2,3,4,6,7,8,9,10,11,12)\
                               (13,14,15,16,17,18,19,20,21,22,23,24)\
                               (5)}"

这样，任务 5 就有了自己的节点。