【发布时间】:2017-06-11 00:44:00
【问题描述】:
我有一个三节点 Kafka 集群在服务中运行在一个单独的三节点 Zookeeper 集群上。我打算将 Kafka 切换为使用新的五节点 Zookeeper 集群,虽然我找到了有关这样做的信息,但我有一个额外的问题,Kafka 将在新集群上使用自定义 znode 父路径。
例如,我当前的 Kafka Zookeeper 字符串如下所示:
192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181
我想把它改成这个:
192.0.2.21:2181,192.0.2.22:2181,192.0.2.23:2181,192.0.2.24:2181,192.0.2.25:2181/kafka/uid1
这样做的原因是我们打算为其他 Kafka 集群重用更大的 Zookeeper 集群。别担心,这是用于测试而不是生产。但是,我们仍然希望在不丢失进入 Kafka 的流上的任何数据的情况下执行此操作,因此我们希望在不删除任何内容的情况下执行此操作。
这可能吗?
我遇到了以下问题:
- Copy/Migrate old zookeeper znode/data to new zookeeper
- best way to copy data across 2 zookeeper cluster?
不幸的是,它们似乎需要一些停机时间,我希望避免这种情况。
此页面 (https://qgraph.io/blog/migrating-kafka-zookeeper-cluster/) 在翻转方面更有帮助,但对 znode 迁移没有帮助。
我一直在寻找“znode 符号链接”或“为每个 zookeeper 服务器指定 znode 路径”,但似乎都不可能。我是不是运气不好,需要停机并可能丢失数据?
【问题讨论】:
标签: apache-kafka apache-zookeeper