在 Spark 2.3.0 上使用 k8s 集群作为 spark 集群管理器答案

【问题标题】：Using a k8s cluster as spark cluster manager on Spark 2.3.0在 Spark 2.3.0 上使用 k8s 集群作为 spark 集群管理器
【发布时间】：2018-08-23 18:00:48
【问题描述】：

我试图从 spark 2.3.0 的二进制版本向 k8s 集群提交示例作业，提交命令如下所示。但是，我一直遇到错误的主错误。我真的很确定我的 k8s 集群运行良好。

bin/spark-submit \
    --master k8s://https://<k8s-master-ip> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=3 \
    --conf spark.kubernetes.container.image= <image-built-from-dockerfile> \
    --conf spark.kubernetes.driver.pod.name=spark-pi-driver \
    local:///opt/examples/jars/spark-examples_2.11-2.3.0.jar

然后错误就出来了

错误：Master 必须是 yarn 或以 spark、mesos、local 开头

这是kubectl cluster-info的输出

Kubernetes master is running at https://192.168.0.10:6443
KubeDNS is running at https://192.168.0.10:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

【问题讨论】：

标签： apache-spark kubernetes

【解决方案1】：

因为我英语不好。所以可能有一些错误的语法。但我会尽力回答你的问题。我的解决方法是检查您的 $SPARK_HOME 并更改为您的“apache-spark-on-k8s”文件路径。因为 spark-submit 默认使用“${SPARK_HOME}”来运行您的命令。也许您有两个 spark 环境和我一样的机器。所以命令总是使用你原来的火花。希望这个答案对你有所帮助。

【讨论】：