我了解到 elasticsearch 河流/河流插件已被弃用。所以我们不能直接进行 elasticsearch-kafka 集成。如果我们想这样做，那么我们需要在中间有一些 java（或任何语言）层，将数据从 kafka 放入使用其 api 的弹性搜索。
另一方面——如果我们有 kafka-logstash-elasticsearch——我们摆脱了上面的中间层，并通过配置的 logstash 来实现。但我不确定在两者之间使用 logstash 是否是开销？
我的理解对吗？ 提前感谢您的投入。
问候， 普里亚
【问题讨论】：
标签： elasticsearch logstash apache-kafka
你的问题很笼统。最好了解您的架构、其目的和您所做的假设。
正如其文档所述，Kafka 是一个可大规模扩展的发布-订阅消息系统。我的假设是您将它用作架构中的数据代理。
另一方面，Elasticsearch 是一个搜索引擎，因此我假设您将它用作数据访问/搜索/聚合层。
这两个独立的系统需要连接器来创建适当的数据管道。这就是 Logstash 的用武之地。它允许您在 Kafka 和 Elasticsearch 之间创建数据流连接。它还允许您根据需要随时更改数据。
理想情况下，Kafka 使用原始数据事件。 Elasticsearch 存储对您的数据消费者（Web 或移动应用程序、其他系统等）有用的文档，因此可能与原始数据格式完全不同。如果您需要修改原始表单和 ES 文档之间的数据，Logstash 可能会派上用场（请参阅filters 阶段）。
另一种方法是使用 Kafka 连接器，构建自定义工具，例如基于 Kafka Streams 或 Consumers，但它实际上取决于您的架构概念 - 用途、堆栈、数据要求等等。
【讨论】：