【问题标题】:Kafka MirrorMaker - Deletion of a topic is not replicatedKafka MirrorMaker - 不复制主题的删除
【发布时间】:2021-02-08 11:04:09
【问题描述】:
我已设置 MirrorMaker2 来复制 2 个 Apache Kafka 集群。一切似乎都很顺利。
我唯一的问题是,当从 CLUSTER1 中删除一个 topic(即在 cluster2 上复制为 CLUSTER1.topic 时,复制的主题 CLUSTER1 cluster2 上的 .topic 不会被删除。
所以看起来一个主题的删除并没有复制到另一个集群。 mm2.properties 上有一些特定的属性控制删除主题的复制?
谢谢
【问题讨论】:
标签:
apache-kafka
apache-kafka-mirrormaker
【解决方案1】:
这是预期的行为。 MirrorMaker2 不会删除主题或群组。
有几个原因:
- 这可以防止在错误删除主题时丢失数据。在这种情况下,远程集群上的副本仍然可用。
- 集群可以由不同的团队操作/使用。不再需要某个主题的团队不一定在远程集群上也不再需要它。
- Kafka 不跟踪主题的“所有权”(谁创建了它)。名称与 MirrorMaker2 规则匹配的主题可能存在于远程集群上,而不是 MirrorMaker2 副本。
为了避免任何这些问题,目前(如果社区同意,可以更改),MirrorMaker2 不会删除远程集群上的资源。