【问题标题】:How can a Elasticsearch client be notified of a new indexed document?如何通知 Elasticsearch 客户端有新的索引文档?
【发布时间】:2016-10-25 19:16:15
【问题描述】:

我正在使用 Elasticsearch,并且正在构建一个客户端(使用 Java 客户端 API)来导出通过 Logstash 索引的日志。

我希望能够在索引新文档(= 添加新日志行)时(通过在某处添加侦听器)得到通知,而不是查询最后 X 个文档。

有可能吗?

【问题讨论】:

  • 一种方法是指示 Logstash 在每次向 ES 发送新文档时调用 HTTP webhook。您的侦听器可以在该端点上侦听并收到通知。
  • 我宁愿不修改logstash配置,该工具可能无法启动,而且我已经有一个ES客户端,如果可能的话,我宁愿使用纯ES api。

标签: java elasticsearch listener logstash


【解决方案1】:

这就是您要查找的内容:https://github.com/ForgeRock/es-change-feed-plugin

使用此插件,您可以注册到 websocket 通道,以便在发生索引/删除事件时接收它们。不过它有some limitations

过去,可以安装 River 插件将文档流式传输到 ES。河流功能已被删除,但上面的这个插件就像一个“反向河流”,外部客户端在文档被索引时被 ES 通知。

ES 6.x 非常有用且看起来是最新的

更新(2019 年 4 月 14 日):

根据 Elastic{ON} Zurich 2019 上的说法,在 7.x 系列的某个时刻,将有一个 Changes API 提供索引更改通知(文档创建、更新、删除等)。

【讨论】:

  • 刚刚在 Elastic{ON}Tour Zurich 获悉,这将通过计划在 7.x 系列中推出的 Changes API 来解决。所以我相应地更新了我的答案。
猜你喜欢
  • 1970-01-01
  • 2013-04-14
  • 1970-01-01
  • 1970-01-01
  • 2015-11-10
  • 1970-01-01
  • 2020-04-18
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多