使用自定义配置将 kafka 主题镜像为独立应用程序

Question

我想将一些主题从一个经纪人反映到另一个经纪人。只是所有主题的一部分。有一个现有的MirrorMaker 工具可以做到这一点。但我也想更改目标主题名称。此外，Custom message handler 已经做到了。然而，它不符合我的需求。

对我有几个要求：

1. 可以为每个目标主题提供覆盖的镜像主题
2. 动态检测新的源主题
3. 以独立应用程序（例如 Java、Spring Boot）而不是 CLI approach 运行它

有人至少对其中一个有想法吗？

Answer 1

据我所知，没有现有的工具可以完成您提到的所有事情。 Confluent 的 Replicator 可能具有所有这些功能，但您必须为企业许可证付费。更多细节在这里：

https://www.confluent.io/connector/confluent-kafka-replicator/

如果您不想为 Confluent 许可证付费，我的建议是构建您自己的应用程序，该应用程序既可以使用 Kafka，也可以生成信息。您将拥有完全控制权，您可以用 Java 编写它，您可以实现您想要的任何逻辑（自动检测新主题，在目标主题上动态更改名称等），您可以将其部署为普通的 JVM 应用程序最适合您的方式（普通 JVM、AWS EC2、Docker/Kubernetes 应用程序等）