使用 GNU Parallel 运行循环 bash curl 脚本

Question

最近刚开始使用 bash 进行编程，遇到了 GNU Parallel，这正是我的项目所需要的。 有一个基本的循环脚本，用于循环遍历 ip 列表并 ping 一次。带有 ip 的列表会不断更新，由另一个脚本驱动。

对于多线程，我想使用 GNU Parallel。

我的想法是运行 10 个 Parallel 实例，每个实例将从列表中捕获一个 ip，将其插入 curl 命令并将其从列表中删除，因此其他实例不会拾取它。

#! /bin/bash
while true; do

while read -r ip; do
curl $ip >> result.txt
sed -i '1,1 d' iplist
done < ipslist
done

我不确定，运行 bash 脚本的正确方法是什么，在这种情况下，我能找到的每个解决方案都无法正常工作，事情变得一团糟。 我有一种感觉，这一切都可以用一行来完成，但是，出于我自己的原因，我更喜欢将它作为 bash 脚本运行。 将不胜感激任何帮助！

Answer 1

Thomas 的解决方案看起来适合这种特殊情况。但是，如果您需要做的不仅仅是curl，那么我建议您创建一个函数：

#! /bin/bash

doit() {
  ip="$1"
  curl "$ip"
  echo do other stuff here
}
export -f doit

while true; do
  parallel -j10 doit < ipslist >> result.txt
done

如果您希望 ipslist 成为队列，以便以后可以将内容添加到队列中，并且您只希望 curled 一次：

tail -n+0 -f ipslist | parallel doit >> result.txt

现在您以后可以简单地向 ipslist 添加内容，GNU Parallel 也会 curl 这样做。

（使用 GNU 并行作为队列系统/批处理时有一个小问题 经理：您必须提交 JobSlot 数量的作业才可以 开始，然后你可以一次提交一个，作业就会开始 如果有空闲插槽，请立即使用。运行的输出或 已完成的作业会被保留，并且只会在 JobSlots 更多时打印 作业已经开始（除非你使用 --ungroup 或 --line-buffer，在 在这种情况下，作业的输出会立即打印）。例如。如果 你有 10 个工作槽，那么第一个完成的工作的输出将 仅在作业 11 开始时打印，并且第二个的输出 仅当作业 12 开始时才会打印已完成的作业。）

Answer 2

这对我有用：

#!/bin/bash

while true; do
  parallel -j10 curl '{}' < ipslist >> result.txt
done

如果这不是您想要的，请更新您的问题以澄清。

Answer 3

我只会使用xargs。似乎没有多少人知道这一点，但除了将输入的每一行压缩在一行上的标准用法之外，还有更多的东西。也就是这个：

echo -e "A\nB\nC\nD\nE" | xargs do_something

基本上和这个意思是一样的：

do_something A B C D E

但是您可以使用-L 选项指定在一个块中处理多少行：

echo -e "A\nB\nC\nD\nE" | xargs -L2 do_something

将转化为：

do_something A B
do_something C D

此外，您还可以使用-P 选项指定这些块中有多少并行运行。因此，要逐个处理行，并行度为 3，您会说：

echo -e "A\nB\nC\nD\nE" | xargs -L1 -P3 do_something

等等，你有适当的并行执行，使用基本的 unix 工具。

唯一的问题是，您必须确保将输出分开。我不确定，以前是否考虑过这一点，但curl 案例的解决方案是这样的：

cat url_list.txt | xargs -L1 -P10 curl -o paralell_#0.html

#0 将被 cURL 替换为正在获取的 URL。详情请参阅手册：

• http://man7.org/linux/man-pages/man1/xargs.1.html
• https://curl.haxx.se/docs/manpage.html

Answer 4

你可以这样做，它会起作用的：

#! /bin/bash
while true; do

   while read -r ip; do
      curl $ip >> result.txt &
      sed -i '1,1 d' iplist
   done < ipslist
wait
done