优化 SLURM 集群的性能答案

【问题标题】：Optimize performance on a SLURM cluster优化 SLURM 集群的性能
【发布时间】：2021-04-25 10:19:13
【问题描述】：

在我对如此结构化的 CPU 集群进行了多次尝试之后，我给你写信：

144 个标准计算节点 2× AMD EPYC 7742，2× 64 核，2.25 GHz 256 (16×16) GB DDR4, 3200 MHz InfiniBand HDR100 (Connect-X6) 操作系统的本地磁盘（1× 240 GB SSD） 1 TB NVMe

现在，由于我的 core-h 在这里有限，我想尽可能地提高性能。我正在使用以下提交脚本进行一些基准测试：

#!/bin/bash -x
#SBATCH --account=XXXX
#SBATCH --ntasks=256
#SBATCH --output=mp-out.%j
#SBATCH --error=mpi-err.%j
#SBATCH --time=24:00:00
#SBATCH --partition=batch

srun ./myprogram

我正在运行的程序是 Gromacs2020 (MPI)，这是一个执行分子动力学模拟的软件。

在机器手册中我读到了这些键：

--ntasks
--ntasks-per-node
--cpu-per-node

但是，考虑到最近的技术，我的表现平平。确实，在一个 5 年老的集群中，我在使用可比资源的情况下获得了更好的性能。

那么，您是否设想将这些关键字很好地组合以最大限度地提高性能并避免核心-h 浪费？我的系统大小约为 100K 原子（如果有帮助的话）。

非常感谢任何反馈，

期待听到您的意见。

最好的问候

【问题讨论】：

标签： performance hpc slurm scientific-computing

【解决方案1】：

在您的情况下，这 256 个任务没有限制在同一个机架上运行，无论位置与否。 Slurm 没有任何线索可以正确安排集群上的作业。它可能是在 256 个不同的节点上安排 1 个任务，这根本没有效率。

为确保一切安排正确，也许您应该强制定位节点上的任务。

#!/bin/bash -x
#SBATCH --account=XXXX
#SBATCH --nodes=2
#SBATCH --ntasks=256
#SBATCH --ntasks-per-core=1
#SBATCH --tasks-per-node=128
#SBATCH --output=mp-out.%j
#SBATCH --error=mpi-err.%j
#SBATCH --time=24:00:00
#SBATCH --partition=batch

srun ./myprogram

通常，每 256 个任务将安排在每个 AMD 插槽的 1 个内核上。并位于 2 个节点上。这将避免低效的过度订阅和 CPU 周期共享。为确保不会被基准测试打扰，请询问 --exclusive。

【讨论】：