Kafka Mirror Maker 不复制消费者组偏移量

Question

我们已设置 MirrorMaker 以跨两个 Kafka 集群复制消息。我们还在镜像制造商消费者属性中设置了exclude.internal.topic=false，以复制内部主题。我假设这也将复制__consumer_offset topic，这将反过来同步辅助集群中的消费者组偏移量。

但是当我们在辅助集群中启动消费者组时，它从头开始消费消息，所以看起来消费者组偏移量没有在辅助集群中复制。

谁能提供一些建议，我们如何使用 MirrorMaker 或任何其他解决方案同步辅助集群中的消费者组偏移量？

Answer 1

乍一看，复制__consumer_offsets 主题似乎是个好主意，但实际上并不会像您预期的那样工作。

当跨不同集群复制主题时，在大多数情况下，源集群和目标集群之间的记录偏移量会有所不同。两个集群之间偏移量不同的原因包括：

• 来自 Mirror Maker 的重复消息由于其至少一次语义
• 由于重试导致消息顺序不同
• 由于保留限制，源集群上的第一个偏移量不为零

这会使__consumer_offsets 的内容在目标集群中无用。

Mirror Maker 2 将成为 Kafka 2.4（预计于 2019 年 11 月/12 月发布）的一部分，它提供了一种“转换”偏移量的方法，因此消费者可以在集群之间轻松迁移。

Answer 2

我使用mirror maker 2.7.1或更高版本实现了偏移自动复制。