并行高效地运行多个作业

Question

操作系统：Cent-OS

我有一些30,000 工作（或脚本）要运行。每项工作需要 3-5 分钟。我有48 CPUs(nproc = 48)。我可以同时使用40 CPUs to run 40 Jobs。请建议一些脚本或工具通过并行运行每 40 个作业来处理 30,000 个作业。

我做了什么：

• 我创建了 40 个不同的文件夹，并通过为每个目录创建一个 shell 脚本并行执行作业。

• 我想知道下次处理这类工作的更好方法。

Answer 1

正如 Mark Setchell 所说：GNU Parallel。

find scripts/ -type f | parallel

如果你坚持让 8 个 CPU 空闲：

find scripts/ -type f | parallel -j-8

但通常使用nice 会更有效，因为这样可以在没有其他人需要的情况下为您提供全部 48 个内核：

find scripts/ -type f | nice -n 15 parallel

要了解更多信息：

• 观看介绍视频以快速了解： https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• 浏览教程（man parallel_tutorial）。你命令行 爱你。

Answer 2

我使用REDIS 来做这种事情——安装非常简单，CLI 也很容易使用。

我主要使用 LPUSH 将所有作业推送到 REDIS 中的“队列”中，并使用 BLPOP 从队列中阻塞删除作业。因此，您将在开始时 LPUSH 30,000 个作业（或脚本名称或参数），然后在后台启动 40 个进程（每个 CPU 1 个），每个进程将坐在循环中执行 BLPOP 以获取作业，运行它然后做下一个。

您可以添加复杂的层以在另一个“队列”中记录已完成的作业。

这里有一个小例子来说明该怎么做......

首先，在网络中的任何机器上启动 Redis 服务器：

./redis-server &    # start REDIS server in background

或者，如果你总是使用它，你可以把它放在你的系统启动中。

现在将 3 个作业推送到名为作业的队列中：

./redis-cli         # start REDIS command line interface
redis 127.0.0.1:6379> lpush jobs "job1"
(integer) 1
redis 127.0.0.1:6379> lpush jobs "job2"
(integer) 2
redis 127.0.0.1:6379> lpush jobs "job3"
(integer) 3

查看队列中有多少作业：

redis 127.0.0.1:6379> llen jobs
(integer) 3

等待作业无限超时

redis 127.0.0.1:6379> brpop jobs 0
1) "jobs"
2) "job1"
redis 127.0.0.1:6379> brpop jobs 0
1) "jobs"
2) "job2"
redis 127.0.0.1:6379> brpop jobs 0
1) "jobs"
2) "job3"

最后一个将等待很长时间，因为队列中没有作业：

redis 127.0.0.1:6379> brpop jobs 0

当然，这很容易编写脚本：

将 30,000 个作业放入队列中：

for ((i=0;i<30000;i++)) ; do
    echo "lpush jobs job$i" | redis-cli
done

如果您的 Redis 服务器位于远程主机上，只需使用：

redis-cli -h <HOSTNAME>

查看进度的方法如下：

echo "llen jobs" | redis-cli
(integer) 30000

或者，更简单地说：

redis-cli llen jobs
(integer) 30000

你可以像这样开始 40 个工作：

#!/bin/bash
for ((i=0;i<40;i++)) ; do
    ./Keep1ProcessorBusy  $i &
done

然后Keep1ProcessorBusy 会是这样的：

#!/bin/bash

# Endless loop picking up jobs and processing them
while :
do
    job=$(echo brpop jobs 0 | redis_cli)
    # Set processor affinity here too if you want to force it, use $1 parameter we were called with
    do $job
done

当然，您想要运行的实际脚本或作业也可以存储在 Redis 中。

---

作为一个完全不同的选项，您可以查看GNU Parallel，即here。另外请记住，您可以使用-P 选项运行find 到xargs 的输出以并行化内容。

Answer 3

只需执行这些脚本，Linux 就会在内部将这些任务正确地分配给可用的 CPU。这是基于 Linux 任务调度程序的。但是，如果您愿意，您也可以使用 taskset 在特定 CPU 上执行任务（请参阅 man taskset）。您可以通过脚本来执行 30K 任务。以这种手动方式记住，确保你在做什么。