在 bash 中从 txt 文件中多次读取（并行处理）

Question

这是一个用于 HTTP 状态码的简单 bash 脚本

while read url
    do
        urlstatus=$(curl -o /dev/null --silent --head --write-out  '%{http_code}' "${url}" --max-time 5 )
        echo "$url  $urlstatus" >> urlstatus.txt
    done < $1

我正在从文本文件中读取 URL，但它一次只处理一个，花费太多时间，GNU 并行和 xargs 也一次处理一行（已测试）

如何同时处理 URL 进行处理以提高时间？换句话说，URL 文件的线程而不是 bash 命令（GNU 并行和 xargs 所做的）

 Input file is txt file and lines are separated  as
    ABC.Com
    Bcd.Com
    Any.Google.Com

Something  like this

Answer 1

GNU parallel 和 xargs 也一次处理一行（已测试）

你能举个例子吗？如果您使用-j，那么您一次应该能够运行多个进程。

我会这样写：

doit() {
    url="$1"
    urlstatus=$(curl -o /dev/null --silent --head --write-out  '%{http_code}' "${url}" --max-time 5 )
    echo "$url  $urlstatus"
}
export -f doit
cat "$1" | parallel -j0 -k doit >> urlstatus.txt

根据输入：

Input file is txt file and lines are separated  as
ABC.Com
Bcd.Com
Any.Google.Com
Something  like this
www.google.com
pi.dk

我得到了输出：

Input file is txt file and lines are separated  as  000
ABC.Com  301
Bcd.Com  301
Any.Google.Com  000
Something  like this  000
www.google.com  302
pi.dk  200

看起来很正确：

000 if domain does not exist
301/302 for redirection
200 for success