保持两个kafka集群同步的最佳方法是什么

Question

我必须在两个不同的数据中心 (DC) 中设置两个 kafka 集群，它们具有相同的主题和配置。原因是两个数据中心之间的连接很糟糕，我们无法创建一个全球性的。

我们让生产者和消费者发布和订阅每个 DC 的主题。

问题是我需要让两个集群保持同步。 可以说：写入第一个 DC 的所有消息最终都应该复制到第二个 DC，反之亦然。

我正在评估 kafka MirrorMaker 工具，方法是通过使用第一个消息并生成第二个消息来创建镜像。但是也需要将数据从第二个复制到第一个，因为在两个集群中都允许写入数据。

我认为 Kafka MirrorMaker 工具不适合我们的情况。 有什么建议吗？

提前致谢。

Answer 1

根据您的具体要求，您可以将 MirrorMaker 用于您的用例。

一种选择是只有两个单独的主题，让它们在集群 1 上称为 topic1，在集群 2 上称为 topic2。所有生产线程都写入“本地”主题，然后使用 mirrormaker 将此主题复制到远程集群.

对于您的消费者，您只需在离您最近的集群上订阅这两个主题，这样您就可以获得写入任一集群的所有记录。 我创建了一个插图，希望对您有所帮助：

或者，您可以在两个集群上创建聚合主题并使用 MirrorMaker 将数据复制到该主题中，这样您就可以将所有数据放在一个主题中以供使用。 通过这种方式，您将在同一个集群上拥有重复的数据，但您可以通过降低输入主题的保留设置来解决这个问题。 再次，希望下面的图片有助于解释我的想法： 为了使其工作，您需要配置 MirrorMaker 以将主题复制到具有不同名称的主题中，这不是标准的做法，我已经写了一个小的 blog post 来说明如何做到这一点，如果您想进一步研究此选项。