【发布时间】:2019-08-01 00:32:48
【问题描述】:
TL;DR:有没有办法让 SGE 在调度作业时在服务器之间进行循环,而不是尽可能将所有作业分配到同一台服务器?
详情:
我有一个包含许多较小作业的大型计算进程。我正在使用 SGE 将工作分配给集群中的多个服务器。
该过程需要在不同时间点执行不同数量的任务(从技术上讲,它是作业的 DAG)。有时并行作业的数量非常大(集群中每个 CPU 约 1 个),有时它要小得多(每个服务器约 1 个)。 DAG 是动态的且不统一,因此很难判断在任何给定点有/将有多少并行作业。
作业使用大量 CPU,但也执行一些不平凡的 IO(尤其是在作业启动和关闭时)。他们访问连接到所有计算服务器的共享 NFS 服务器。每个计算服务器都有一个较窄的连接 (10Gb/s),但 NFS 服务器有几个宽连接 (40Gbs) 到通信交换机。不确定交换机主干的带宽是多少,但它是一个怪物,所以应该很高。
为了获得最佳性能,应在不同的服务器上调度作业如果可能。也就是说,如果我有 20 台服务器,每台有 20 个处理器,提交 20 个作业应该在每个服务器上运行一个作业。提交 40 个作业应该在每个作业上运行 2 个,依此类推。提交 400 个作业会使整个集群饱和。
但是,SGE 却一意孤行,将我的 I/O 性能降至最低。提交 20 个作业会将它们全部安排在单个服务器上。因此,当其他 19 台带宽为 190Gb 的机器闲置时,他们都在为一个微不足道的 10Gb 网络连接而战。
我可以强制 SGE 以多种方式在不同的服务器上执行每个作业(使用资源、使用特殊队列、使用我的并行环境并指定“-t 1-”等)。但是,这意味着我将只能在每台服务器上运行一项作业,期间。当 DAG 打开并产生许多作业时,作业将停止等待完全空闲的服务器,而每台机器的 20 个处理器中有 19 个将保持空闲。
我需要一种方法来告诉 SGE 以循环顺序将每个作业分配给下一个具有可用插槽的服务器。更好的方法是将作业分配给负载最少的服务器(未使用插槽的最大数量,或未使用插槽的最大比例,或已使用插槽的最小数量等)。但是一个死的简单循环就可以了。
这似乎是一个更明智的策略总体而言,与 SGE 的策略相比,SGE 的策略是在与前一个工作相同的服务器上运行每个工作,这对于我的情况来说几乎是最糟糕的策略。
我查看了 SGE 的配置选项,但找不到任何修改调度策略的方法。也就是说,SGE 的文档不太容易浏览,所以我很容易漏掉一些东西。
有没有人知道任何方法可以让 SGE 将其调度策略更改为循环或最小负载或任何类似的方法?
谢谢!
【问题讨论】:
-
这至少给了你一些希望。在我们的 Univa Grid Engine 集群上,我的工作看似随机地分散在整个集群中。我没有使用任何 qsub 选项来控制作业在计算节点上的放置。但是,我不知道集群配置的细节——我不是系统管理员。
标签: parallel-processing cluster-computing sungridengine