xargs -n 选项可实现并行性和更少的处理时间

Question

我试图了解如何使用 xargs -n 选项循环遍历 csv 文件并运行 CURL 操作以将输出收集到文件以实现更快的处理时间。

示例：

我需要根据带有 URI（其中 1000 个）的 CSV 文件检查网页的运行状况。

URI.csv

signup
account
edit
close

我正在尝试并行检查它们的状态，使用：

猫 URI.csv | xargs -n1 -I {} /bin/bash -c 'curl -I http://localhost/{} &> /dev/null && echo "{},Online">>healthcheck.log || echo "{},Offline">>healthcheck.log '

我可以通过制作-n2 来加快处理速度吗？我知道我可以使用-P4 之类的东西来实现并行性，但是，我无法理解-n 如何用于我的用例。

Answer 1

考虑以下代码：

xargs -d $'\n' -P2 -n2 \
  /bin/bash -c '
    for arg do
      if curl --fail -I "http://localhost/$arg" &>/dev/null; then
        printf "%s,Online\n" "$arg"
      else
        printf "%s,Offline\n" "$arg"
      fi
    done
  ' _ >>healthcheck.log <URI.csv

• xargs -d $'\n' 告诉 GNU xargs 逐行操作，而不是将您的输入文件拆分为单词，尝试使用引号，或者使用比您可能实际想要的更复杂的解析。
• xargs -P 2 指定一次运行两个进程。随意调整。
• xargs -n 2 指定每个进程都有两个 URL 来运行。随意调整。
• bash -c '...' _ arg1 arg2 运行脚本 ... 和 $0 中的 _、$1 中的 arg1、$2 中的 arg2 等。因此，xargs 附加的参数成为位置参数for arg do 迭代的脚本。
• foo && bar || baz 的行为有点类似于if foo; then bar; else baz; fi，但并不完全相同。见BashPitfalls #22。
• 请注意，对于整个复合命令，我们只打开healthcheck.log 以写入一次，而不是每次我们想向其中写入一行时都重新打开文件。

Answer 2

使用 GNU Parallel 它看起来像这样：

cat URI.csv |
  parallel -j100 'curl -I http://localhost/{} &> /dev/null && echo {}",Online" || echo {}",Offline"' >>healthcheck.log

或者更容易阅读：

#!/bin/bash

doit() {
  if curl -I http://localhost/"$1" &> /dev/null ; then
    echo "$1,Online"
  else
    echo "$1,Offline"
  fi
}
export -f doit
cat URI.csv | parallel -j100 doit >>healthcheck.log

将-j100 调整为您希望并行运行的作业数。

通过使用 GNU Parallel，作业将并行运行，但 healthcheck.log 的输出将被序列化，您将永远不会看到竞争条件，即两个作业同时写入日志，这可能会弄乱日志文件。在这个例子中account和edit同时写道：

signup,Online
accouedit,Online
nt,Offline
close,Online

GNU Parallel 的输出永远不会发生这种情况。