【问题标题】:How to crawl only a subfolder with Anemone如何使用 Anemone 仅抓取子文件夹
【发布时间】:2012-08-08 16:12:53
【问题描述】:

我们可以用海葵抓取一个漏洞网站(例如:https://stackoverflow.com/),但如果我只想关注某个文件夹(例如:https://stackoverflow.com/questions)怎么办。我怎样才能做到这一点 ?也许使用“focus_crawl”方法?

【问题讨论】:

    标签: ruby web-crawler anemone


    【解决方案1】:

    检查 keep_if 方法可能有帮助

    http://danneu.com/posts/8-scraping-a-blog-with-anemone-ruby-web-crawler-and-mongodb#toc_1

    尝试并传递您想要抓取的模式

    还有一个要点https://gist.github.com/1149906

    注意:我还没有测试过,但您一定可以尝试。

    【讨论】:

    • 谢谢PriteshJ,但我终于找到了答案。我使用了on_pages_like 方法,而不是on_every_page,其模式如下:on_pages_like(/http:\/\/stackoverflow.com\/questions\/.),效果很好。再次感谢您
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多