【发布时间】:2012-08-08 16:12:53
【问题描述】:
我们可以用海葵抓取一个漏洞网站(例如:https://stackoverflow.com/),但如果我只想关注某个文件夹(例如:https://stackoverflow.com/questions)怎么办。我怎样才能做到这一点 ?也许使用“focus_crawl”方法?
【问题讨论】:
标签: ruby web-crawler anemone
我们可以用海葵抓取一个漏洞网站(例如:https://stackoverflow.com/),但如果我只想关注某个文件夹(例如:https://stackoverflow.com/questions)怎么办。我怎样才能做到这一点 ?也许使用“focus_crawl”方法?
【问题讨论】:
标签: ruby web-crawler anemone
检查 keep_if 方法可能有帮助
http://danneu.com/posts/8-scraping-a-blog-with-anemone-ruby-web-crawler-and-mongodb#toc_1
尝试并传递您想要抓取的模式
还有一个要点https://gist.github.com/1149906。
注意:我还没有测试过,但您一定可以尝试。
【讨论】:
on_pages_like 方法,而不是on_every_page,其模式如下:on_pages_like(/http:\/\/stackoverflow.com\/questions\/.),效果很好。再次感谢您