aws emr 无法更改引导程序上的默认 pyspark python

Question

我正在使用带有 emr 的 aws，并尝试更改为引导脚本以将 pyspark 中的默认 python 设置为 python 3，我正在关注 this 教程

这正在更改 /usr/lib/spark/conf/spark-env.sh 文件，但不会更改 pyspark 中的 python 版本，我仍在使用 python 2.7 完成工作。这仅在我 ssh 到机器并专门使用时才有效

$source /usr/lib/spark/conf/spark-env.ssh

当我尝试将此行添加到引导脚本时，我收到引导错误，即找不到文件。

/bin/bash: /usr/lib/spark/conf/spark-env.sh: 没有那个文件或目录

我假设该文件在此阶段不存在。如何在引导脚本中将 pyspark python 设置为 python 3？

Answer 1

将以下代码添加到软件配置中（创建emr -> step1：软件和步骤-> 编辑软件配置-> 进入配置）

[
  {
     "Classification": "spark-env",
     "Configurations": [
       {
         "Classification": "export",
         "Properties": {
            "PYSPARK_PYTHON": "/usr/bin/python3"
          }
       }
    ]
  }
]