我有一个 bash 脚本可以将数据上传到站点。我的上传速度越来越慢，所以我开始并行运行它，同时使用 5 个，使用 xargs 和 -N1。
但是，问题在于，如果我一次运行 5 个验证码，服务器会要求我解决验证码，而一次运行 1 个则可以正常工作。
我认为这是因为所有进程都在完全相同的时间开始，我被标记了。
无论如何，问题来了，我有什么办法可以在 xargs/gnu 并行启动进程之间添加等待（比如 1 秒）？
我唯一能想到的就是使用 pgrep 脚本 | wc -1 来计算脚本实例，并休眠该秒数。
但是，这确实不是最优的，有没有更好的方法来做到这一点？
【问题讨论】：
标签： linux bash shell parallel-processing xargs
如果上传需要随机的时间，您只需要前 5 个以 1-5 秒的延迟开始：
cat list | parallel -j5 [ {#} -lt 6 ] \&\& sleep {#}\; upload {}
【讨论】：
我认为你只需要一个循环，而不是使用 xargs，如
for i in {1..5}; do sleep 5; your-command & done
这会每 5 秒分叉一次命令。对于增加延迟（如果需要）：
for i in {1..5}; do ((w=i*5)); sleep $w; your-command & done
另一种选择：
files="a.txt b.txt c.txt"
for i in $files; do upload-command $i& sleep 5; done
【讨论】：
这可能对你有用（使用 GNU 并行）：
find . -type f -name "*.txt" -print | parallel 'script {} & sleep 1'
这是一个显示示例运行的终端会话：
for x in {a..c};do for y in {1..3};do echo $x >>$x;done;done
ls
a b c
cat a
a
a
a
cat /tmp/job
#!/bin/bash
sed -i -e '1e date' -e 's/./\U&/' $1
sleep 5
sed -i '${p;s,.*,date,e}' $1
find . -type f -name "?" -print | parallel '/tmp/job {} & sleep 1'
cat ?
Sat Mar 10 20:25:10 GMT-1 2012
A
A
A
Sat Mar 10 20:25:15 GMT-1 2012
Sat Mar 10 20:25:09 GMT-1 2012
B
B
B
Sat Mar 10 20:25:14 GMT-1 2012
Sat Mar 10 20:25:08 GMT-1 2012
C
C
C
Sat Mar 10 20:25:13 GMT-1 2012
如您所见，每个作业的开始时间间隔为一秒，即文件 c 从 08 开始，在 13 结束，文件 b 从 09 到 14，文件 a 从 10 到 15。
【讨论】：
/tmp/job {} & sleep 1 的背景，然后是一秒钟的睡眠。注：这是 GNU 并行而不是 Moreutils。
您可以在每个进程之后使用
暂停脚本执行read -p "Press [Enter] key to continue..".
现在您可以自行决定何时开始下一个流程..
我同意这涉及人工干预。但由于在这种特殊情况下只需要启动 5 个进程，它应该可以正常工作。
编辑：由于read 停止您的自动化，您可以使用
sleep 5
它会睡 5 秒。
【讨论】：