wget grep sed 提取链接并将它们保存到文件中答案

【问题标题】：wget grep sed to extract links and save them to a filewget grep sed 提取链接并将它们保存到文件中
【发布时间】：2014-03-19 00:20:44
【问题描述】：

我需要从http://en.wikipedia.org/wiki/Meme 下载所有页面链接，并使用一个命令将它们保存到一个文件中。

第一次使用命令行，所以我不确定要使用的确切命令、标志等。我只知道该怎么做，不得不四处寻找 href 的含义。

wget http://en.wikipedia.org/wiki/Meme -O links.txt | grep 'href=".*"' | sed -e 's/^.*href=".*".*$/\1/'

文件中链接的输出不需要采用任何特定格式。

【问题讨论】：

【解决方案1】：

使用 gnu grep：

grep -Po '(?<=href=")[^"]*' links.txt

或使用 wget

wget http://en.wikipedia.org/wiki/Meme -q -O - |grep -Po '(?<=href=")[^"]*'

【讨论】：

【解决方案2】：

您可以使用wget 的蜘蛛模式。有关示例，请参见此 SO 答案。

【讨论】：

【解决方案3】：

wget http://en.wikipedia.org/wiki/Meme -O links.txt | sed -n 's/.*href="\([^"]*\)".*/\1/p'

但这每行只需要 1 个 href，如果超过 1 个，其他的会丢失（与您的原始行相同）。您还忘记了在您的原始 sed 第一模式中有一个组 (\( -> \))，所以 \1 什么都不引用

【讨论】：