【问题标题】:Pyspark does not use python3 in yarn cluster mode, even with PYSPARK_PYTHON=python3Pyspark 不在纱线集群模式下使用 python3,即使使用 PYSPARK_PYTHON=python3
【发布时间】:2016-07-25 19:59:56
【问题描述】:

我已经使用 ambari 在 spark-env.sh 中设置了 PYSPARK_PYTHON=python3,当我在命令行中尝试“pyspark”时,它使用 python 3.4.3 运行。但是,当我使用纱线集群模式提交作业时,它使用 python 2.7.9 运行。如何让它使用python3?

【问题讨论】:

    标签: python apache-spark pyspark ambari


    【解决方案1】:

    你需要给出python3的完整路径,比如:

    subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)
    

    【讨论】:

    • 我已经将 spark-env.sh 设置为“export PYSPARK_PYTHON=/usr/bin/python3.4 export PYSPARK_DRIVER_PYTHON=/usr/bin/python3.4”,但还是一样。使用 python2
    猜你喜欢
    • 1970-01-01
    • 2018-10-25
    • 2019-11-25
    • 2020-09-06
    • 2016-04-18
    • 1970-01-01
    • 1970-01-01
    • 2023-04-08
    • 2016-04-09
    相关资源
    最近更新 更多