Nutch 或其他框架来抓取 Web 服务答案

【问题标题】：Nutch or other framework to crawl webservicesNutch 或其他框架来抓取 Web 服务
【发布时间】：2015-10-28 18:29:59
【问题描述】：

我正在寻找一个可用于以下场景的框架：我有 2 个 Web 服务。我调用第一个具有 json 响应的服务。在 json 响应中，我有一些 Id，用于调用其他服务，然后合并服务响应并将其存储在 db 中。我想每天调用这些服务来更新我的数据库。

我发现的是 Nutch，但它看起来像是一个主要用于 html 页面的网络爬虫。是否有任何框架可以用于上述场景？我正在寻找一个容错的可销售 Java 框架。

谢谢！

【问题讨论】：

我会推荐使用scrapy，它有一个很棒的社区和文档，但它是python。

标签： web-services mapreduce web-scraping nutch hadoop-yarn

【解决方案1】：

您可以使用 Nutch，它不仅限于 HTML。如果可以通过 URL 访问某些内容，那么 Nutch 将获取它，但是您可能需要实现一些自定义解析器和索引器来处理您的内容。

或者storm-crawler 将是可扩展和可定制的。您可能会发现它比 Nutch 更容易学习并且更灵活。在您的用例中，您可以在 SC 前面有一个或多个队列（例如 RabbitMQ、AWS SQS 等）。种子 URL 将用于第一个服务，您可以使用自定义解析过滤器为第二个服务生成 URL。最后，您将有一个定制的索引螺栓将数据发送到数据库。 Storm 有大量资源可供您使用。

HTH

【讨论】：