【发布时间】:2016-07-25 19:59:56
【问题描述】:
我已经使用 ambari 在 spark-env.sh 中设置了 PYSPARK_PYTHON=python3,当我在命令行中尝试“pyspark”时,它使用 python 3.4.3 运行。但是,当我使用纱线集群模式提交作业时,它使用 python 2.7.9 运行。如何让它使用python3?
【问题讨论】:
标签: python apache-spark pyspark ambari
我已经使用 ambari 在 spark-env.sh 中设置了 PYSPARK_PYTHON=python3,当我在命令行中尝试“pyspark”时,它使用 python 3.4.3 运行。但是,当我使用纱线集群模式提交作业时,它使用 python 2.7.9 运行。如何让它使用python3?
【问题讨论】:
标签: python apache-spark pyspark ambari
你需要给出python3的完整路径,比如:
subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)
【讨论】: