Slurm：即使资源可用也无法分配资源答案

【问题标题】：Slurm : cannot allocate resources even when they are availableSlurm：即使资源可用也无法分配资源
【发布时间】：2018-11-19 22:22:49
【问题描述】：

我正在尝试使用 SLURM 在集群上执行套接字编程代码以进行节点分配。我使用 slurm 脚本如下：

#!/bin/bash
#SBATCH --job-name="abcd"
#SBATCH --ntasks=2
#SBATCH --nodes=2-2
#SBATCH --cpus-per-task=128
#SBATCH --partition=knl
./a.out

当将此作为 sbatch 脚本运行时，我收到错误“sbatch：错误：批处理作业提交失败：请求的节点配置不可用”。

但是，我确实看到一些满足上述配置的节点。两个节点的 scontrol 输出如下所示：

NodeName=compute140 Arch=x86_64 CoresPerSocket=64
   CPUAlloc=20 CPUErr=0 CPUTot=256 CPULoad=20.01
   AvailableFeatures=knl
   ActiveFeatures=knl
   Gres=(null)
   NodeAddr=compute140 NodeHostName=compute140 Version=16.05
   OS=Linux RealMemory=96000 AllocMem=81920 FreeMem=102580 Sockets=1 Boards=1
   MemSpecLimit=1024
   State=MIXED ThreadsPerCore=4 TmpDisk=0 Weight=1 Owner=N/A MCS_label=N/A
   BootTime=2018-06-04T12:41:22 SlurmdStartTime=2018-06-04T12:47:01
   CapWatts=n/a
   CurrentWatts=0 LowestJoules=0 ConsumedJoules=0
   ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/s


NodeName=compute141 Arch=x86_64 CoresPerSocket=64
   CPUAlloc=20 CPUErr=0 CPUTot=256 CPULoad=20.01
   AvailableFeatures=knl
   ActiveFeatures=knl
   Gres=(null)
   NodeAddr=compute141 NodeHostName=compute141 Version=16.05
   OS=Linux RealMemory=96000 AllocMem=81920 FreeMem=87441 Sockets=1 Boards=1
   MemSpecLimit=1024
   State=MIXED ThreadsPerCore=4 TmpDisk=0 Weight=1 Owner=N/A MCS_label=N/A
   BootTime=2018-06-04T12:46:37 SlurmdStartTime=2018-06-04T12:52:11
   CapWatts=n/a
   CurrentWatts=0 LowestJoules=0 ConsumedJoules=0
   ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/s

我不确定为什么在 slurm 应该为我分配请求的配置时出现错误。

我想在两个不同的 knl 节点上运行客户端-服务器应用程序，每个任务将是多线程的，每个任务有 128 个线程。

请帮忙，因为我尝试了几件事，但没有任何对我有用。

【问题讨论】：

配置中DefMemPerCPU的值是多少？
@damienfrancois DefMemPerCPU 的值为 4096。

标签： slurm

【解决方案1】：

您没有明确指定每个 CPU 的内存要求，因此使用默认值。如果默认值大于RealMemory/CPUTot，在您的情况下为 96000MB/128=750MB，则任务无法保存在单个节点中。

因此，如果默认值为 4GB/CPU，并且您请求每个节点一个任务和每个任务 128 个 CPU，那么您实际上请求每个节点 524GB 的 RAM，而您的集群无法提供。

【讨论】：