Nutch 和 Elasticsearch答案

【问题标题】：Nutch and ElasticsearchNutch 和 Elasticsearch
【发布时间】：2016-08-10 18:02:51
【问题描述】：

我正在使用 Elasticsearch、AngularJS 和 Nutch 构建一个小型搜索应用程序。我几乎已经完成了 ES 和 AngularJS 部分。现在是 Nutch 和 ES 部分的时候了，使用 Nutch 将数据抓取并索引到 ES 中。我一直在使用 Nutch 1.10 和 ES 1.4。我一直在使用 Nutch v1.10 在我的本地机器上进行大约（约 50 个站点）的初步小型爬网。我现在看到 ES 达到 v2.3 或类似的版本，而且 Nutch v1.11 似乎仍然使用 ES v1.4。

有没有人使用 Nutch v1.10 与任何大于 1.4 的 ES 版本（可能是 ES v1.5 或 v1.7）一起工作？

如果可能，我想留在 Nutch 1.x 分支。

【问题讨论】：

标签： elasticsearch nutch

【解决方案1】：

我没有将 Nutch 与 ES 1.5/1.6/1.7 一起使用，但 indexer-elastic 插件使用的 API 之间应该没有重大变化。我刚刚按照https://github.com/apache/nutch/blob/master/src/plugin/indexer-elastic/howto_upgrade_es.txt 中的说明进行了构建/测试（ant test）Nutch 1.11 和 ES 1.7.2，没有任何问题。这意味着，代码构建良好，但我还没有测试 将实际数据索引 到 Elasticsearch。

您必须构建自己的 Nutch 发行版，我建议您将 elasticsearch 客户端版本与 ES 服务器版本保持同步。

【讨论】：

感谢您提供信息和链接，您是否有计划将数据索引发短信？你用的是什么版本的蚂蚁？我以前没用过蚂蚁……
很高兴它有帮助，是的，我将在下载/安装 ES 1.7.2 后立即进行测试爬网。可能在周末:)。另外，我目前使用的是 ant 1.9.6。