在 Kubernetes/Mesos 中运行 YARN 集群

Question

我正在使用 YARN 在 spark 上运行一组 dockerized 应用程序，我想知道在 Kubernetes 中部署集群是否可行，或者 Mesos 是否是更好的选择？在决定一位经理而不是另一位经理之前，我将非常感谢任何架构问题。

Answer 1

您可以使用适用于 Kubernetes 的 Apache Livy 构建：https://github.com/jahstreet/spark-on-kubernetes-helm。 此设置完全取代了 Spark 支持 Yarn 的功能，并在顶部添加了一些额外的功能。