可以在 Kafka 中搜索所有主题数据吗？

Question

我需要一个解决方案，最好是内置的（而不是创建我自己的应用程序），这将有助于管理搜索 Kafka 中的多个/所有主题。我们正在使用 Confluent 平台。基本上，用户应该能够在 UI 中搜索关键字，并且应该搜索多个/所有 Kafka 主题的当前日志并返回数据。我们环境中的所有主题都使用 json 进行通信。

因此，此搜索将使我们能够跟踪流，例如，多个微服务将数据从一个系统发送到另一个系统，并且可以通过所有 json 中存在的相关 ID 来跟踪此流。因此，如果有人搜索此相关 ID，他应该能够看到流程中涉及的消息。此搜索稍后会有更多用例。

我们需要一个涉及最少编码的解决方案。我们更喜欢使用 Kibana 之类的 UI。

在基本阅读中，我怀疑以下解决方案，但我不太确定，因为我是 Confluent 的新手（之前使用过开源 Apache Kafka）： 解决方案 1：使用 ksqldb。 （需要更多关于如何使用它的帮助） 解决方案 2：使用 Kafka Connect 使用内置插件将所有主题数据流式传输到 Elastic Search，并在 Elastic 之上使用 Kibana。

请帮助找到最佳案例替代方案。

Answer 1

当然，您可以使用 Elastic。

不过，您也可以使用 Splunk。

还有Pilosa 提供的pdk 工具，可以为Kafka 事件创建分布式索引。 （无从属关系）

另一种选择是distributed tracing 在客户端之间使用拦截器，而不是“在所有主题上”，这听起来像是你真正需要的