Bash 将 pid 内核增加到无限大循环

Question

我一直在尝试在一个巨大的循环中创建 cURL，并使用 bash 将 cURL 运行到后台进程中，大约有 904 个域将被 cURL

问题在于，由于 Linux 内核的 PID 限制，不能全部嵌入 904 个域。我曾尝试将 pid_max 添加到 4194303（我在此讨论中读到 Maximum PID in Linux），但在我检查只有域 901 已在后台进程中运行之后，在我添加 pid_max 之前仅在 704 左右在后台进程中运行。

这是我的循环代码：

count=0
while IFS= read -r line || [[ -n "$line" ]]; 
    do
      (curl -s -L -w "\\n\\nNo:$count\\nHEADER CODE:%{http_code}\\nWebsite : $line\\nExecuted at :$(date)\\n==================================================\\n\\n" -H "X-Gitlab-Event: Push Hook" -H 'X-Gitlab-Token: '$SECRET_KEY --insecure $line >> output.log) &

  (( count++ ))
done < $FILE_NAME

有人有其他解决方案或修复它来处理巨大的循环以将 cURL 运行到后台进程吗？

Answer 1

可以创建脚本example.sh

#!/bin/bash

line=$1
curl -s -L -w "\\n\\nNo:$count\\nHEADER CODE:%{http_code}\\nWebsite : $line\\nExecuted at :$(date)\\n==================================================\\n\\n" -H "X-Gitlab-Event: Push Hook" -H 'X-Gitlab-Token: '$SECRET_KEY --insecure $line >> output.log

那么命令可以是（将一次运行的进程数限制为50）

xargs -n1 -P50 --process-slot-var=count ./example.sh < "$FILE_NAME"

Answer 2

即使您可以并行运行这么多进程，这也毫无意义 - 在短时间内启动许多 DNS 查询来解析 900 多个域名可能会使您的 DNS 服务器不堪重负，并且在同时会阻塞你的网络。一种更好的方法是使进程涓涓细流，以便您在任何给定时间运行有限数量（例如 100 个），但每次之前启动的进程之一完成时都启动一个新进程。使用xargs -P 这很容易。

xargs -I {} -P 100 \
    curl -s -L \
        -w "\\n\\nHEADER CODE:%{http_code}\\nWebsite : {}\\nExecuted at :$(date)\\n==================================================\\n\\n" \
        -H "X-Gitlab-Event: Push Hook" \
        -H "X-Gitlab-Token: $SECRET_KEY" \
        --insecure {} <"$FILE_NAME" >output.log

$(date) 结果将在 shell 评估 xargs 命令行时被插值，并且没有简单的方法可以使用这种机制获得 count。重构它以将 curl 命令和一些脚手架放入单独的脚本中可以解决这些问题，如果它对您真的很重要，那么应该是微不足道的。 （粗略的草图：

xargs -P 100 bash -c 'count=0; for url; do

        curl --options --headers "X-Notice: use double quotes throughout" \
            "$url"
        ((count++))
    done' _ <"$FILE_NAME" >output.log

...尽管如果xargs 收到的 URL 数量超过单个命令行的容量，这将重新开始编号。）