用于流数据的 Logstash Elasticsearch 输入插件

【问题标题】：Logstash Elasticsearch Input Plugin for streaming data用于流数据的 Logstash Elasticsearch 输入插件
【发布时间】：2016-08-23 09:49:57
【问题描述】：

我想知道我们是否可以将 logstash-input-elasticsearch 插件用于流数据，例如：如果我的数据库中有可用数据并且我运行 ElasticSearch 输入插件，它会将数据索引到输出中，但是如果一段时间后，更多数据来自 ElasticSearch 数据库，ElasticSearch 输入插件是否能够在不重新启动 logstash 的情况下索引该数据？

感谢您的关注和帮助。

【问题讨论】：

标签： logstash elasticsearch-plugin

【解决方案1】：

默认情况下，elasticsearch 输入将在您的 ES 实例上运行滚动查询，抽取与查询匹配的文档，将它们流式传输到您的输出，完成后 Logstash 将关闭。

但是，您可以做的是设置一个 cron 作业，该作业将定期启动您的 Logstash 管道并查询 ES 中存在的新文档。

【讨论】：

再次感谢瓦尔！我正在开发你推荐我的东西。但是，如何指示logstash 从上次运行中处理的最后一个文档开始，而不是滚动我的所有弹性搜索数据库？
您需要有某种字段，例如日期，您可以在查询中签入。每次您需要查询日期大于上次运行管道时的所有文档时。