如何在 Kubernetes 上独立运行 Spark？

Question

我有一个在独立模式下使用 Spark 2.1 的 Scala 应用程序。该应用程序将运行 2 小时并完成。它应该每月运行一次。

我发现了几种结合 Spark 和 Kubernetes 的方法：

1. 使用 Apache Spark Helm 图表：https://github.com/kubernetes/charts/tree/master/stable/spark
2. Spark for Kubernetes 有一个特殊的分支：https://github.com/apache-spark-on-k8s/spark
3. 构建我自己的应用程序 Docker 映像，包括 Spark 二进制文件：http://blog.madhukaraphatak.com/scaling-spark-with-kubernetes-part-5/ 代码示例：https://github.com/phatak-dev/kubernetes-spark

大部分文档都描述了如何在 Kubernetes 上运行 Spark 集群。在 Kubernetes 上独立运行 Spark 的方法是什么？

Answer 1

对于 Kubernetes 上的独立 spark，存在的两个规范样本是：

1. https://github.com/kubernetes/charts/tree/master/stable/spark
2. https://github.com/kubernetes/examples/tree/master/staging/spark

这些当前运行的是过时的 Spark 版本，需要更新到 2.1，很快就会更新到 2.2。 （欢迎 PR :)）。

https://github.com/apache-spark-on-k8s/spark 分支不是用于独立模式，而是旨在使 Spark 能够直接在 Kubernetes 集群上启动。它最终将被合并到上游火花中。如果您想使用它，文档是here。

到目前为止，如果你想使用 Spark 2.1，选项是：编译你自己的镜像，或者使用 apache-spark-on-k8s 中的 spark 分发打包你的应用程序

Answer 2

我首先尝试了最简单的想法：方法3：

为我的应用程序构建我自己的 Docker 映像，包括 Spark 二进制文件：http://blog.madhukaraphatak.com/scaling-spark-with-kubernetes-part-5/

代码示例：https://github.com/phatak-dev/kubernetes-spark

效果很好。

Answer 3

查看我的https://github.com/radanalyticsio/spark-operator

它在 Kubernetes 和 OpenShift 上部署了独立的 spark，还支持 spark-on-k8s 原生调度程序。默认 Spark 版本为 2.4.0

您可以在项目的自述文件中找到非常快速的入门，但是这里有一种使用操作符部署 Spark 集群的方法：

# create operator
kubectl apply -f https://raw.githubusercontent.com/radanalyticsio/spark-operator/master/manifest/operator.yaml

# create cluster
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: SparkCluster
metadata:
  name: my-cluster
spec:
  worker:
    instances: "2"
EOF