【问题标题】:Forcing SGE to use multiple servers强制 SGE 使用多台服务器
【发布时间】:2019-08-01 00:32:48
【问题描述】:

TL;DR:有没有办法让 SGE 在调度作业时在服务器之间进行循环,而不是尽可能将所有作业分配到同一台服务器?

详情:

我有一个包含许多较小作业的大型计算进程。我正在使用 SGE 将工作分配给集群中的多个服务器。

该过程需要在不同时间点执行不同数量的任务(从技术上讲,它是作业的 DAG)。有时并行作业的数量非常大(集群中每个 CPU 约 1 个),有时它要小得多(每个服务器约 1 个)。 DAG 是动态的且不统一,因此很难判断在任何给定点有/将有多少并行作业。

作业使用大量 CPU,但也执行一些不平凡的 IO(尤其是在作业启动和关闭时)。他们访问连接到所有计算服务器的共享 NFS 服务器。每个计算服务器都有一个较窄的连接 (10Gb/s),但 NFS 服务器有几个宽连接 (40Gbs) 到通信交换机。不确定交换机主干的带宽是多少,但它是一个怪物,所以应该很高。

为了获得最佳性能,应在不同的服务器上调度作业如果可能。也就是说,如果我有 20 台服务器,每台有 20 个处理器,提交 20 个作业应该在每个服务器上运行一个作业。提交 40 个作业应该在每个作业上运行 2 个,依此类推。提交 400 个作业会使整个集群饱和。

但是,SGE 却一意孤行,将我的 I/O 性能降至最低。提交 20 个作业会将它们全部安排在单个服务器上。因此,当其他 19 台带宽为 190Gb 的机器闲置时,他们都在为一个微不足道的 10Gb 网络连接而战。

我可以强制 SGE 以多种方式在不同的服务器上执行每个作业(使用资源、使用特殊队列、使用我的并行环境并指定“-t 1-”等)。但是,这意味着我将只能在每台服务器上运行一项作业,期间。当 DAG 打开并产生许多作业时,作业将停止等待完全空闲的服务器,而每台机器的 20 个处理器中有 19 个将保持空闲。

我需要一种方法来告诉 SGE 以循环顺序将每个作业分配给下一个具有可用插槽的服务器。更好的方法是将作业分配给负载最少的服务器(未使用插槽的最大数量,或未使用插槽的最大比例,或已使用插槽的最小数量等)。但是一个死的简单循环就可以了。

这似乎是一个更明智的策略总体而言,与 SGE 的策略相比,SGE 的策略是在与前一个工作相同的服务器上运行每个工作,这对于我的情况来说几乎是最糟糕的策略。

我查看了 SGE 的配置选项,但找不到任何修改调度策略的方法。也就是说,SGE 的文档不太容易浏览,所以我很容易漏​​掉一些东西。

有没有人知道任何方法可以让 SGE 将其调度策略更改为循环或最小负载或任何类似的方法?

谢谢!

【问题讨论】:

  • 这至少给了你一些希望。在我们的 Univa Grid Engine 集群上,我的工作看似随机地分散在整个集群中。我没有使用任何 qsub 选项来控制作业在计算节点上的放置。但是,我不知道集群配置的细节——我不是系统管理员。

标签: parallel-processing cluster-computing sungridengine


【解决方案1】:

只需将 SGE 并行环境的 allocation_rule 更改为 $round_robin(sge_pe 文件):

allocation_rule

     The allocation rule is interpreted by the  scheduler  thread
     and helps the scheduler to decide how to distribute parallel
     processes among the available machines. If, for instance,  a
     parallel environment is built for shared memory applications
     only, all parallel processes have to be assigned to a single
     machine, no matter how much suitable machines are available.
     If, however, the parallel environment  follows  the  distri-
     buted  memory  paradigm,  an  even distribution of processes
     among machines may be favorable.
     The current version of the scheduler  only  understands  the
     following allocation rules:

<int>:    An integer number fixing the number  of  processes
           per  host.  If the number is 1, all processes have
           to reside  on  different  hosts.  If  the  special
           denominator  $pe_slots  is used, the full range of
           processes as specified with the qsub(1) -pe switch
           has  to  be  allocated on a single host (no matter
           which value belonging  to  the  range  is  finally
           chosen for the job to be allocated).

$fill_up: Starting from the best  suitable  host/queue,  all
          available  slots  are allocated. Further hosts and
          queues are "filled up" as  long  as  a  job  still
          requires slots for parallel tasks.

$round_robin:
          From all suitable hosts a single slot is allocated
          until  all tasks requested by the parallel job are
          dispatched. If more tasks are requested than suit-
          able hosts are found, allocation starts again from
          the  first  host.  The  allocation  scheme   walks
          through  suitable  hosts  in a best-suitable-first
          order.

来源:http://gridscheduler.sourceforge.net/htmlman/htmlman5/sge_pe.html

【讨论】:

  • 我从来没有想过这会在每个环境设置中。回想起来,这完全有道理。非常感谢!
  • 更新:$round_robin 不起作用。提交作业数组时,它会在插槽之间而不是作业之间进行循环。也就是说,第一个作业在一台机器上获得 1 个插槽,在另一台机器上获得 1 个插槽,...第二个作业在一台机器上获得 1 个插槽,在另一台机器上获得 1 个插槽,...实际需要的是 $ 的组合round_robin 和 $pe_slots,即每个作业的插槽将在一台机器上,并且循环仅适用于作业之间,而不适用于单个作业的插槽之间。您可以说不要使用作业数组 - 除非您一次提交太多作业,否则 SDE 会阻塞...
  • 看起来您可能已经达到了使用 SGE 所能达到的极限。也许唯一的解决方案是实现作业和任务数组的组合,例如每个节点提交一个任务数组,使用-l host=$hostname指定目标节点并限制该节点上运行的槽数。我前段时间迁移到 Torque/Maui,所以我在 SGE 方面的专业知识有限。
  • 谢谢。我将单线程作业提交到非并行环境(在服务器之间循环它们)并将多线程作业提交到并行环境(使用 $pe_slots 所以将它们批处理)少数服务器)。如果每个多线程作业都接管了整个服务器,那么一切正常。但通常情况并非如此,我得到了次优的分配和增加的运行时间:-(让我的 IT 人员切换集群软件并不容易......
猜你喜欢
  • 2023-04-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-04-20
  • 2018-07-24
  • 2014-10-15
  • 2016-03-12
  • 2017-07-20
相关资源
最近更新 更多