为什么当 Zookeeper 会话过期时 Apache Spark Master 会关闭

Question

据我了解，Apache Spark Master 可以使用 Zookeeper 在高可用性模式下运行。也就是说，多个 Spark master 可以在 Leader/Follower 模式下运行，这些模式在 ZooKeeper 中注册。

在我们的场景中，ZooKeeper 正在使作为领导者的 Spark Master 会话到期。所以作为leader的Spark Master收到这个通知后故意关机。

有人可以解释为什么会做出关闭而不是重试的决定吗？

为什么 Kafka 在收到相同的过期通​​知时会重试连接到 Zookeeper？

Answer 1

您似乎遇到了问题SPARK-15544 - Bouncing Zookeeper node causes Active spark master to exit。

关闭单个 zookeeper 节点导致 spark master 退出。 master 应该已经连接到第二个 zookeeper 节点。

截至 2019 年 3 月，他们正在研究解决方案。如果您想查看问题何时解决，可以关注 JIRA。