防止 spark 执行器访问 Mesos 或 ZooKeeper api答案

【问题标题】：Prevent spark executors from accessing Mesos or ZooKeeper apis防止 spark 执行器访问 Mesos 或 ZooKeeper api
【发布时间】：2019-04-03 12:27:49
【问题描述】：

目前 Mesos 上的 Spark 在 cluster mode 上运行，Mesos/ZooKeeper 没有任何访问控制，并且执行器在主机网络上启动。

在运行任意代码时防止 spark 执行器访问 mesos 或 zookeeper api 的最佳做法是什么？

在覆盖网络上运行执行程序并实施网络策略？
mesos/zookeeper 的 ACL？
还有别的吗？

【问题讨论】：

在 Zookeeper 中存储一些 Spark 状态有时很有用（例如 Spark Streaming 的 Kafka 偏移量）

标签： apache-spark apache-zookeeper mesos

【解决方案1】：

您应该在 Mesos 和 Zookeeper 中启用加密和身份验证。然后你配置 ZK like this 和 Mesos --zk=zk://username:password@host1:port1,host2:port2,.../path。

按照theses instructions在Moses中启用身份验证

【讨论】：