例外：worker 中的 Python 2.7 版本与驱动程序 2.6 中的版本不同，PySpark 无法使用不同的次要版本运行

【问题标题】：Exception: Python in worker has different version 2.7 than that in driver 2.6, PySpark cannot run with different minor versions例外：worker 中的 Python 2.7 版本与驱动程序 2.6 中的版本不同，PySpark 无法使用不同的次要版本运行
【发布时间】：2018-04-05 15:58:04
【问题描述】：

我们有一个 625 个节点的 hadoop 集群。但其中一些是centos 6（python 2.6），一些是centos 7（python 2.7）。那么我该如何解决这个问题，因为我不断收到这个错误。

【问题讨论】：

标签： python apache-spark pyspark

【解决方案1】：

在每个节点上至少安装 Python 2.7 并配置 SPARK_PYTHON 环境变量以指向所需的安装。 Spark 不支持混合环境，不再支持 Python 2.6。

【讨论】：

感谢您的回答。现在我在所有节点上都有 2.7。但是我无法更改 spark-conf 文件以指向这个 python 版本，因为集群被不同的团队使用。我可以通过 spark-submit 命令指定 2.7 的安装路径吗？