hadoop + kafka集群中的2个zookeeper服务器集群-可能吗？答案

【问题标题】：2 cluster of zookeper servers in hadoop+kafka cluster - is it posible?hadoop + kafka集群中的2个zookeeper服务器集群-可能吗？
【发布时间】：2019-11-08 18:57:15
【问题描述】：

我们有以下详细信息的 Kafka 集群

3 台卡夫卡机器

3 个 Zookeeper 服务器

我们还有包含数据节点机器的 Hadoop 集群并且所有应用程序都在使用 zookeeper 服务器，包括 kafka 机器

现在

我们想做以下改变

我们要添加额外的 3 个 Zookeeper 服务器，它们将位于一个单独的集群中

并且只有 kafka 机器会使用这个额外的 zookeeper 服务器

有可能吗？

【问题讨论】：

标签： apache-kafka apache-zookeeper

【解决方案1】：

编辑 Hadoop 配置中的 ha.zookeeper.quorum 与 Kafka 配置中的 zookeeper.connect 分开，这样您就有两个单独的 Zookeeper 集群，可以实现，是的。

但是，我认为 Ambari 或 Cloudera Manager 不允许您一次查看或配置多个 Zookeeper 集群。

【讨论】：

ha.zookeeper.quorum defined in ambari --> HDFS CONFIG --> Custom core-site ，所以只配置这个值就够了吗？
您可能需要先从该 Zookeeper 地址复制任何现有数据
顺便问下hortonworks HDP - 2.6.4相关的zookeeper server pkgs如何下载？
我会使用 Deb 或 YUM 存储库。 docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/…

【解决方案2】：

是的，这是可能的。 Kafka 使用 Zookeeper 执行各种分布式协调任务，例如决定哪个 Kafka broker 负责分配分区领导者，以及在 broker 中存储有关主题的元数据。

关闭kafka后，使用工具将原来的zookeeper集群数据复制到新集群，这是一个zookeeper集群数据传输utilzkcopy

但如果您的 Kafka 集群没有停止工作，您应该考虑将 Zookeeper 数据传输到其他 Zookeeper 服务器。

【讨论】：

万一我们从 kafka 中删除所有数据（删除所有主题）并创建 3 个新的 zookeeper 服务器。所以在那种情况下，我们从头开始，我们不需要将数据从原始 zookeeper 复制到新的 zookeeper，对吗？
是的，你是对的。只需要在服务器中重新配置zookeeper. connect。属性。