【发布时间】:2014-05-06 00:10:28
【问题描述】:
我正在尝试获取一个页面以及它链接到站点外的一些页面。我想做的是在站点(主机)上递归到 5 的深度,然后一旦我跳转到另一个主机,就将递归限制为 2 页。我似乎在手册页中找不到任何此类选项,是我运气不好?
【问题讨论】:
标签: wget
我正在尝试获取一个页面以及它链接到站点外的一些页面。我想做的是在站点(主机)上递归到 5 的深度,然后一旦我跳转到另一个主机,就将递归限制为 2 页。我似乎在手册页中找不到任何此类选项,是我运气不好?
【问题讨论】:
标签: wget
很遗憾,是的。如果您尝试仅使用一个命令执行此操作,那么您就不走运了。 Wget 不支持父主机和其他域的不同递归深度。但是,您可以使用以下命令集来有效地获取您要查找的内容:
$ wget -r -H -l 2 www.example.com
$ wget -r -l 5 -c www.example.com
第一个命令尝试从您想要的域递归下载所有内容,包括从其他主机到递归深度为 2。除此之外,它只是忽略所有文件。
在第二个命令中,我们要求 Wget 仅从主机服务器下载,但这次递归深度为 5。-c 用于要求 Wget 继续文件传输。这意味着 Wget 不会尝试重新下载已通过第一个命令下载的所有内容。
上述命令只是概念验证,需要根据您的特定需求进行定制。
【讨论】: