从命令列表中调用 shell 命令，直到完成所有命令

Question

我有我想调用的 shell 命令列表。最多四个进程应同时运行。

我的基本想法是将命令发送到 shell，直到 4 个命令处于活动状态。 然后，该脚本通过查找公共字符串来不断检查所有进程的进程计数，例如"nohup scrapy crawl urlMonitor"。

一旦进程计数低于 4，下一个命令就会发送到 shell，直到所有命令都完成。

有没有办法用 shell 脚本来做到这一点？ 我想它会涉及某种无限循环、中断条件以及检查活动进程的方法。不幸的是，我在 shell 脚本方面不是那么好，所以也许有人可以指导我走向正确的方向？

nohup scrapy crawl urlMonitor -a slice=0 &
nohup scrapy crawl urlMonitor -a slice=1 &
nohup scrapy crawl urlMonitor -a slice=2 &
nohup scrapy crawl urlMonitor -a slice=3 &
nohup scrapy crawl urlMonitor -a slice=4 &
nohup scrapy crawl urlMonitor -a slice=5 &
nohup scrapy crawl urlMonitor -a slice=6 &
nohup scrapy crawl urlMonitor -a slice=7 &
nohup scrapy crawl urlMonitor -a slice=8 &
nohup scrapy crawl urlMonitor -a slice=9 &
nohup scrapy crawl urlMonitor -a slice=10 &
nohup scrapy crawl urlMonitor -a slice=11 &
nohup scrapy crawl urlMonitor -a slice=12 &
nohup scrapy crawl urlMonitor -a slice=13 &
nohup scrapy crawl urlMonitor -a slice=14 &
nohup scrapy crawl urlMonitor -a slice=15 &
nohup scrapy crawl urlMonitor -a slice=16 &
nohup scrapy crawl urlMonitor -a slice=17 &
nohup scrapy crawl urlMonitor -a slice=18 &
nohup scrapy crawl urlMonitor -a slice=19 &
nohup scrapy crawl urlMonitor -a slice=20 &
nohup scrapy crawl urlMonitor -a slice=21 &
nohup scrapy crawl urlMonitor -a slice=22 &
nohup scrapy crawl urlMonitor -a slice=23 &
nohup scrapy crawl urlMonitor -a slice=24 &
nohup scrapy crawl urlMonitor -a slice=25 &
nohup scrapy crawl urlMonitor -a slice=26 &
nohup scrapy crawl urlMonitor -a slice=27 &
nohup scrapy crawl urlMonitor -a slice=28 &
nohup scrapy crawl urlMonitor -a slice=29 &
nohup scrapy crawl urlMonitor -a slice=30 &
nohup scrapy crawl urlMonitor -a slice=31 &
nohup scrapy crawl urlMonitor -a slice=32 &
nohup scrapy crawl urlMonitor -a slice=33 &
nohup scrapy crawl urlMonitor -a slice=34 &
nohup scrapy crawl urlMonitor -a slice=35 &
nohup scrapy crawl urlMonitor -a slice=36 &
nohup scrapy crawl urlMonitor -a slice=37 &
nohup scrapy crawl urlMonitor -a slice=38 &

Answer 1

如果您希望一次连续运行 4 个，请尝试以下操作：

max_procs=4
active_procs=0

for proc_num in {0..38}; do
    nohup your_cmd_here &

    # If we have more than max procs running, wait for one to finish
    if ((active_procs++ >= max_procs)); then
        wait -n
        ((active_procs--))
    fi
done

# Wait for all remaining procs to finish
wait

这是 sputnick 答案的一个变体，可以同时运行 max_procs。一个完成后，它开始下一个。 wait -n 命令等待下一个进程完成，而不是等待所有进程完成。

Answer 2

这是一种通用方法，它始终确保在启动任何其他作业之前少于 4 个作业（但是，如果一条生产线同时启动多个作业，则可能同时有 4 个以上的作业）：

#!/bin/bash

max_nb_jobs=4
commands_file=$1

while IFS= read -r line; do
   while :; do
      mapfile -t jobs < <(jobs -pr)
      ((${#jobs[@]}<max_nb_jobs)) && break
      wait -n
   done
   eval "$line"
done < "$commands_file"

wait

将此脚本与您的文件一起用作第一个参数。

它是如何工作的？对于line 读取的每一行，我们首先通过计算正在运行的作业数（从jobs -pr 获得）来确保运行的少于max_nb_jobs。如果超过max_nb_jobs，我们等待下一个作业终止（wait -n），并再次计算正在运行的作业数。如果有少于max_nb_jobs 运行，我们eval 行line。

---

更新

这是一个类似的脚本，它不使用wait -n。它似乎可以完成这项工作（在 Debian 上使用 Bash 4.2 进行了测试）：

#!/bin/bash

set -m

max_nb_jobs=4
file_list=$1

sleep_jobs() {
   # This function sleeps until there are less than $1 jobs running
   # Make sure that you have set -m before using this function!
   local n=$1 jobs
   while mapfile -t jobs < <(jobs -pr) && ((${#jobs[@]}>=n)); do
      coproc read
      trap "echo >&${COPROC[1]}; trap '' SIGCHLD" SIGCHLD
      wait $COPROC_PID
   done
}

while IFS= read -r line; do
   sleep_jobs $max_nb_jobs
   eval "$line"
done < "$file_list"

wait

Answer 3

您可以使用GNU parallel 甚至只是xargs 轻松完成此操作。也就是说：

declare -i i=0
while sleep 1; do
    printf 'slice=%d\n' $((i++))
done | xargs -n1 -P3 nohup scrapy crawl urlMonitor -a

while 循环将永远运行；如果你知道有一个实际的硬限制，你可以做一个for 循环，比如：

for i in {0..100}…

另外，sleep 1 也很有帮助，因为它可以让 shell 更有效地处理信号。

Answer 4

尝试这样做：

for i in {0..38}; do
    nohup scrapy crawl urlMonitor -a slice=$i & _pid=$!
    ((++i%4==0)) && wait $_pid
done

help wait:

wait: wait [-n] [id ...]
Wait for job completion and return exit status.

Waits for each process identified by an ID, which may be a process ID or a
job specification, and reports its termination status.  If ID is not
given, waits for all currently active child processes, and the return
status is zero.  If ID is a a job specification, waits for all processes
in that job's pipeline.

If the -n option is supplied, waits for the next job to terminate and
returns its exit status.

Exit Status:
Returns the status of the last ID; fails if ID is invalid or an invalid
option is given.