支持 Yarn 集群上的多个 Spark 发行版答案

【问题标题】：Support multiple Spark distributions on Yarn cluster支持 Yarn 集群上的多个 Spark 发行版
【发布时间】：2019-01-27 10:55:04
【问题描述】：

我通过$SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster 在一个集群上运行多个 Spark 作业。

当新版本的 Spark 上线时，我想以某种方式在集群上推出一个与旧版本一起使用的新发行版，然后逐步逐个迁移我的所有作业。

不幸的是，Spark 依赖于$SPARK_HOME 全局变量，所以我不知道如何实现它。当 Spark for Scala 2.12 发布时，它会特别有用。

【问题讨论】：

【解决方案1】：

可以在 YARN 集群上运行任意数量的 Spark 发行版。我在我的 MapR 集群上做了很多次，混合了 1-3 个不同的版本，并在那里设置了官方的 Apache Spark。

您只需调整 conf/spark-env.sh（重命名 spark-env.sh.template）并添加一行：

export SPARK_HOME=/your/location/of/spark/spark-2.1.0

【讨论】：