如何搜索链接并仅保存包含特定数据的链接？

Question

我在名为 mylinks.txt 的文件中有一个包含数千个格式为“URL = http://examplelink.com”的超链接的文本文件。

我想做的是搜索所有这些链接，并检查其中是否包含一些关键字，例如“2018”、“2017”。如果链接包含关键字，我想将链接保存在文件“yes.txt”中，如果没有，则转到文件“no.txt”。

所以最后，我会得到两个文件：一个包含将我发送到包含我正在搜索的关键字的页面的链接，另一个包含没有的链接。

我正在考虑用 curl 来做这件事，但我不知道是否可行，我也不知道如何按关键字“过滤”链接。

到目前为止我得到的是：

curl -K mylinks.txt >> output.txt

但这只会创建一个超大文件，其中包含它搜索的链接的 HTML。 我已经搜索并阅读了各种 curl 教程，但没有找到任何“选择性”搜索页面并保存它找到的符合条件的页面的链接（而不是内容）。

Answer 1

-未经测试- 对于包含“2017”或“2018”的行中的链接。

cat mylinks.txt | grep -E '2017|2018' | grep -o 'URL =*>' >> yes.txt

获取不包含关键字的行的url。

cat mylinks.txt | grep -vE '2017|2018' | grep -o 'URL =*>' >> no.txt

这是 unix 管道。 （字符 | ）将左侧的程序输出 stdout 并将 stdin 提供给右侧的程序。

在类 Unix 计算机操作系统中，管道是一系列 由它们的标准流链接在一起的进程，因此 每个进程的输出 (stdout) 直接作为输入 (stdin) 馈送到 下一个。 https://en.wikipedia.org/wiki/Pipeline_(Unix)

Answer 2

这是我的看法（在 url 文件上进行了测试，并带有一些示例）。 这应该是保存为脚本，直接在控制台输入太长了。

#!/bin/bash
urlFile="/path/to/myLinks.txt"
cut -d' ' -f3 "$urlFile" | \
while read url
do
  echo "checking url $url"
  if (curl "$url" | grep "2017") 
  then 
    echo "$url" >> /tmp/yes.txt
  else 
    echo "$url" >> /tmp/no.txt
  fi
done

说明：cut 是必要的，以删除每行中的前缀“URL =”。然后将 url 送入while-read 循环。对于每个 url，我们 curl 它，grep 用于其中的有趣关键字（在本例中为“2017”），如果 grep 返回 0，我们将此 URL 附加到包含有趣 URL 的文件中.

显然，您应该调整路径和关键字。