在 bash 脚本中使用 wget\curl 和代理列表和多个线程

Question

我要做的是在 Linux 上制作一个 bash 脚本，该脚本的目标是获取 url 列表并下载它们。所以我写了一个脚本和它的作品，但我的问题是所有的 url 都来自同一个网站，所以我在每个 url 之后睡了 5 分钟，这需要很多时间所以只想使用代理列表所以我制作了一个将代理 ip 下载到代理列表的脚本，但现在我想了解在这种情况下工作的最佳方式是什么，我想创建多个线程并使用代理列表下载，但如果可以的话跳过代理'不要用它下载（我在下载它们时已经检查了代理列表），如果文件已经下载，则跳过它。

非常感谢您的帮助和建议..

Answer 1

这可以在我的 Mac 上运行 将它们放在一个列表中，我们将其命名为 list.txt，它将包含名称和 url mydoc.pdf http://www.domesite/xyz/xyzdoc.pdf

cat list.txt | while read name url
do
curl $url > $name &
echo $! >> active.list.tmp
done


while [ $(ps -ao pid | grep -c -f  active.list.tmp) -ne 0 ]
do
sleep 1
done

echo done
rm active.list.tmp