【问题标题】:How to migrate Kafka from old Zookeeper cluster to new Zookeeper cluster with different znode parent path如何将 Kafka 从旧的 Zookeeper 集群迁移到具有不同 znode 父路径的新 Zookeeper 集群
【发布时间】:2017-06-11 00:44:00
【问题描述】:

我有一个三节点 Kafka 集群在服务中运行在一个单独的三节点 Zookeeper 集群上。我打算将 Kafka 切换为使用新的五节点 Zookeeper 集群,虽然我找到了有关这样做的信息,但我有一个额外的问题,Kafka 将在新集群上使用自定义 znode 父路径。

例如,我当前的 Kafka Zookeeper 字符串如下所示:

192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181

我想把它改成这个:

192.0.2.21:2181,192.0.2.22:2181,192.0.2.23:2181,192.0.2.24:2181,192.0.2.25:2181/kafka/uid1

这样做的原因是我们打算为其他 Kafka 集群重用更大的 Zookeeper 集群。别担心,这是用于测试而不是生产。但是,我们仍然希望在不丢失进入 Kafka 的流上的任何数据的情况下执行此操作,因此我们希望在不删除任何内容的情况下执行此操作。

这可能吗?

我遇到了以下问题:

不幸的是,它们似乎需要一些停机时间,我希望避免这种情况。

此页面 (https://qgraph.io/blog/migrating-kafka-zookeeper-cluster/) 在翻转方面更有帮助,但对 znode 迁移没有帮助。

我一直在寻找“znode 符号链接”或“为每个 zookeeper 服务器指定 znode 路径”,但似乎都不可能。我是不是运气不好,需要停机并可能丢失数据?

【问题讨论】:

    标签: apache-kafka apache-zookeeper


    【解决方案1】:

    据我所知,如果不重新启动 Kafka,就无法移动 Kafka 的父 znode。 znodes没有硬链接或软链接之类的东西:https://www.igvita.com/2010/04/30/distributed-coordination-with-zookeeper/

    【讨论】:

      猜你喜欢
      • 2015-10-29
      • 2017-11-20
      • 2017-08-31
      • 2019-04-12
      • 2017-02-01
      • 2016-01-25
      • 2021-03-06
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多