【发布时间】:2017-09-05 11:38:51
【问题描述】:
我已经定义了一组测试,每个测试可以运行 1 秒到 10 分钟。我想在每次提交代码后运行它们。现在按顺序运行它们需要很长时间。
是否有任何现成的调度程序可以帮助我以预定义的并行化级别并行运行这些作业?
输入:
- 使用参数调用的程序列表。
- 要并行运行的作业数。
输出:
- 作业列表及其返回码(0 正常,-1 错误)
- 一般状态(正常或失败 - 如果至少有一项作业失败)。
- 每个作业的运行持续时间(可选)
这是否作为脚本语言(bash、perl、python)中的即用型实现存在?目标环境是Linux。全部在同一台主机上运行,不需要作业分配。最简单的解决方案是最好的。由于我不是脚本语言方面的专家,因此我更喜欢现成的解决方案(工作脚本),而不是可用于实现解决方案的库链接。
我进行了研究,但没有找到任何现成的解决方案。我的直觉是一般任务,必须已经解决了。
【问题讨论】:
-
parallel让您参与其中。也许已经足够了? -
看起来很有希望,@Thomas,谢谢!我怎么能忽略标准命令!
-
默认不安装,知名度也不高。我自己最近才知道的:)
标签: linux parallel-processing scripting job-scheduling