Spark 和 Zookeeper HA 的多个 Master答案

【问题标题】：Mutiple Masters for Spark and Zookeeper HASpark 和 Zookeeper HA 的多个 Master
【发布时间】：2017-02-17 14:21:37
【问题描述】：

我正在尝试在独立模式下设置多主火花以实现高可用性。

我有 6 个节点集群：6 个 worker 和 2 个 master 可用。

所有 6 名工人都出现在 Master 1 UI 上，而 spark master 2 没有列出任何工人？我还需要在 master 2 上启动工人吗？

或者如果 master 1 发生故障，ZooKeeper 会将那些工作的工作切换到 master 2？

另一件事是我在同一节点上为 kafka 设置了 ZooKeeper。现在我需要为 Spark 单独安装 ZooKeeper 吗？新的 ZooKeeper 是否需要与 Kafkas ZooKeeper 具有不同的端口号？

【问题讨论】：

【解决方案1】：

如果 master 1 出现故障，zookeeper 会切换那些工作到 master 2 吗？

是的，会的。如果你有set up everything properly，你可以杀死master 1，等待几秒钟，你会看到master 2 接管并看到所有可用的worker 资源都移到那里。

现在我需要为 Spark 单独安装 zookeeper 吗？

这是您的团队需要做出的设计决策，但通常 ZooKeeper 被设计为多个应用程序的集中配置。在我们的生产环境中，我们有一个 ZooKeeper 集群连接到 Kafka 和 Spark。

【讨论】：

我在 kafka 文件夹 clientPort=2181 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888 中设置了如下 Zookeeper.properties。如何配置 spark 和 zookeeper？我可以只修改为 kafka 配置的 zookeeper.properties 文件并将其粘贴到 spark/conf 文件夹吗？ spark和kafka的zookeeper使用相同的端口号吗？
您根本不需要手动配置 ZooKeeper。您只需点击我提供的关于如何配置 Spark 的链接。
谢谢尤瓦尔。我已经成功地为火花设置了 2 个主人的 HA。在 master 之间切换 spark 作业时是否会丢失任何数据（使用 kafka 进行 spark 流式传输）？切换时有什么问题吗？
@AKC 你的 spark 作业怎么样。集群模式还是客户端模式？