将 qsub 作业的数量限制在作业限制以下

Question

我正在尝试在 Bright 计算集群上对我的学习模型进行参数调整，由于要调整的参数数量，这需要大量作业。每个参数组合需要大约 162 个 qsub 作业。我需要检查大约 50 种参数组合。这相当于运行大约 162*50 ~= 8100 个作业。但是，我正在使用的集群上每个帐户有 350 个 qsub 作业限制。因此，我想知道 bash 脚本中是否有一种方法可以检查当前活动的 qsub 作业的数量，以便我可以有效地自动化启动新作业的过程。

Answer 1

您是否已经尝试过使用作业数组？您没有指定您正在使用的调度程序（PBS，OGE，...），但应该有一种方法来定义一个作业数组，并且在整个数组中，限制一次真正运行的任务数量.在 PBS 中

#PBS -t 1-1000%100

创建一千个作业数组，限制一次有效运行的任务数为一百个。 如果您真的想找到一种方法来检查活动作业以自动化启动新作业的过程，qstat 输出应该可以帮助您，但是这应该是您的调度程序的职责，而不是您的职责。