使用 scoop 指定跨节点的工作人员分布答案

【问题标题】：Specifying distribution of workers across nodes using scoop使用 scoop 指定跨节点的工作人员分布
【发布时间】：2016-08-22 23:02:13
【问题描述】：

在 HPC 集群上运行 scoop 程序时，是否可以指定跨节点的工作人员分布？

我最近才接触到 scoop，到目前为止，它似乎是一个出色的工具，可以将设计为在单个计算节点上使用多处理运行的代码快速转换为同时使用多个节点的代码。

但是，有没有一种方法可以使用 scoop 在集群中的每个计算节点上只运行一个工作程序，以允许代码中更深层次的多线程在每个多核节点内运行？

我知道可以使用 -n 标志指定要初始化的工作人员的数量，或者使用主机文件或 --hosts 标志指定要连接的特定主机 (http://scoop.readthedocs.io/en/latest/usage.html#how-to-launch-scoop-programs)使用主机文件的方法？如果是这样，如何在具有通常将节点分配给程序的调度系统（例如，在这种情况下为扭矩）的集群上完成？

如果使用 scoop 无法做到这一点，是否可以使用其他包（MPI、Parallel Python、pathos 等）完成？

【问题讨论】：

标签： python parallel-processing hpc

【解决方案1】：

刚开始自己独家报道。

似乎您可以通过主机文件指定每台主机的工作人员数量来做到这一点。

具有以下语法的主机文件：

hostname_or_ip 4
other_hostname
third_hostname 2

其中名称是系统主机名或 IP 地址，数字代表要启动的工作人员数量。

见：https://scoop.readthedocs.io/en/0.7/usage.html#hostfile-format

【讨论】：