【问题标题】:Limit recursion for off host pages when using wget使用 wget 时限制非主机页面的递归
【发布时间】:2014-05-06 00:10:28
【问题描述】:

我正在尝试获取一个页面以及它链接到站点外的一些页面。我想做的是在站点(主机)上递归到 5 的深度,然后一旦我跳转到另一个主机,就将递归限制为 2 页。我似乎在手册页中找不到任何此类选项,是我运气不好?

【问题讨论】:

    标签: wget


    【解决方案1】:

    很遗憾,是的。如果您尝试仅使用一个命令执行此操作,那么您就不走运了。 Wget 不支持父主机和其他域的不同递归深度。但是,您可以使用以下命令集来有效地获取您要查找的内容:

    $ wget -r -H -l 2 www.example.com
    $ wget -r -l 5 -c www.example.com
    

    第一个命令尝试从您想要的域递归下载所有内容,包括从其他主机到递归深度为 2。除此之外,它只是忽略所有文件。

    在第二个命令中,我们要求 Wget 仅从主机服务器下载,但这次递归深度为 5。-c 用于要求 Wget 继续文件传输。这意味着 Wget 不会尝试重新下载已通过第一个命令下载的所有内容。

    上述命令只是概念验证,需要根据您的特定需求进行定制。

    【讨论】:

    • 遗憾的是,这并不能完全涵盖我正在寻找的内容。我希望能够在同一主机上浏览 3 页,然后在主机上再浏览 2 页(总共 5 页)。不过感谢您的回复。
    猜你喜欢
    • 2015-05-20
    • 2021-05-31
    • 1970-01-01
    • 1970-01-01
    • 2015-10-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-01-26
    相关资源
    最近更新 更多