【问题标题】:Using HTTrack to download links only under a certain subdomain (nothing external)使用 HTTrack 仅在某个子域下下载链接(没有外部)
【发布时间】:2020-08-30 08:04:17
【问题描述】:

所以,这就是我要下载的内容 - https://www.slader.com/textbook/9781337624183-calculus-9th-edition/

看起来相当简单,我尝试在“扫描规则”中添加几行以强制它下载其下的所有内容,但由于某种原因,整个过程在 10 秒内完成,并且仅下载上述内容并没有更进一步链接本身。 例如,除了拥有https://www.slader.com/textbook/9781337624183-calculus-9th-edition/ 本身之外,我还希望拥有源自它的所有链接,例如https://www.slader.com/textbook/9781337624183-calculus-9th-edition/311/。 本质上,从上面的第一个链接开始的所有内容(包括来自其他域的嵌入图片,但没有外部链接。 据我所知,调整一些设置并在“扫描规则”部分添加一些规则应该可以解决问题,但不幸的是我自己无法弄清楚。

【问题讨论】:

    标签: web download httrack


    【解决方案1】:

    为了只复制来自该主机而不是其他主机的链接,要包含您提交的第一个链接,您需要设置扫描规则。

    在您设置网址的菜单页面上,单击“设置选项...”按钮,然后单击“扫描规则”选项卡。接下来确保您的扫描规则排除所有链接,然后确保它们包含来自您想要的源的链接。这种设置的例子是

    +*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
    -*
    +*[name].slader.com/*
    

    这实际上会保存所有来自 slader.com 的链接,但不会存储该域之外的任何内容。

    编辑

    如果您只希望以您在扫描规则中键入的链接开头的链接看起来类似于:

    +*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
    -*
    +*[name].*[name]https://www.slader.com/textbook/9781337624183-calculus-9th-edition/*[name].*[name]/*
    

    编辑

    由于特定视图的链接结构方式,您可能无法通过 HTTrack 获取其他页面,例如“表示函数的四种方式”。如果您查看来源,他们的链接发布如下:

    <tr data-url="/textbook/9781337624183-calculus-9th-edition/17/" class="exercise-group">
                      <td>1.1</td>
                      <td style="width: 360px;">Four Ways to Represent a Function</td>
                      <td style="width: 230px;">Exercises</td>
                      <td style="width: 74px;">p.17</td>
                    </tr>
    

    如您所见,他们使用 data-url 属性来定位下一页,使用 JS 库来实际导航浏览器。由于这不是一个锚标签,HTTrack 不知道它应该跟随它,因为它不将其视为链接。

    一些替代方法是使用SeleniumScrapy 之类的东西来编写一个具有您自己的规则的网络爬虫,这样可以更好地理解它。

    【讨论】:

    • 非常感谢您的建议。这实际上设法消除了我不希望软件下载的其他链接,但不幸的是它没有进入我想要的主链接的子目录。除了将您在答案最后一部分中显示的内容添加到扫描规则之外,我没有更改任何其他设置。有没有办法“强制”软件下载主目录下的所有链接?非常感谢
    • 你的意思是比如 https://.../9781337624183-calculus-9th-edition/ https://.../9781337624183-calculus-9th-edition/311/ 还是你谈别的?很抱歉只是想了解您要完成的工作。
    • 感谢您的努力。我的意思是主链接的直接子类别,例如slader.com/textbook/9781337624183-calculus-9th-edition/311 slader.com/textbook/9781337624183-calculus-9th-edition/311/… 本质上,任何包含主链接+其他内容的内容,例如:slader.com/textbook/9781337624183-calculus-9th-edition/…...
    • 好吧,我将编辑中的文本添加到“扫描规则”中,不幸的是它没有像我已经提到的那样进入子目录。
    • 我明白了,我再次编辑了我的答案以解释您遇到困难的原因
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-01-22
    • 1970-01-01
    • 1970-01-01
    • 2017-01-18
    • 1970-01-01
    相关资源
    最近更新 更多