通过 bash 脚本获取域的标题

【问题标题】：get header of domains by bash script通过 bash 脚本获取域的标题
【发布时间】：2020-04-01 17:17:34
【问题描述】：

我在 test.csv 中写了 10 个域，并试图获取这 10 个域的标题。但它不会一一读取内容。

并运行此脚本

for j in test.csv
do

awk -F',' '{ print "$1" }' $j | curl -Is | cat >> b.txt

done

我有大约 1000 万个域，并试图通过脚本获取标题。有什么办法吗？

【问题讨论】：

标签： bash curl awk

【解决方案1】：

curl 不会从标准输入读取 URL，除非你告诉它这样做。而且您不需要循环（假设您有多个文件）。您正在寻找的是：

awk -F',' '{ print "url=" $1 }' file1 file2 file3 ... | curl -s -I -K- > out

注意-K-，它告诉curl 从标准输入读取命令行参数。

【讨论】：

awk -F',''{ print "url=" $1 }' file1 file2 file3 ... | curl -s -I -K- > out i use code for j in xxx yyy zzz do awk '{ print "url=" $1 }' $j |卷曲 -s -I -K- | cat >> final-$j done code xxx yyy zzz 有 100,000 个域，但经过将近 10 个小时最终文件是空的...
@Cor 我发布了一个可以正常工作的命令。你为什么改变它？