如何分配使用的python解释器spark worker？

Question

如何分配使用的python解释器spark worker？

我尝试了几种方法，例如： 1) 设置环境变量

export PYSPARK_DRIVER_PYTHON=/python_path/bin/python
export PYSPARK_PYTHON=/python_path/bin/python

不工作。我确定 PYSPARK_DRIVER_PYTHON PYSPARK_PYTHON 环境设置成功使用：

env | grep PYSPARK_PYTHON

我想使用 pyspark

 /python_path/bin/python

作为启动python解释器

但是工人开始使用：

python -m deamon

我不想将默认 python 链接到 /python_path/bin/python，因为 这可能会影响其他开发人员，bcz 默认 python 和 /python_path/bin/python 版本不同，并且都在生产中使用。

同时设置 spark-env.sh 无效：

spark.pyspark.driver.python=/python_path/bin/python spark.pyspark.python=/python_path/bin/python

启动驱动程序时会出现一些警告日志，例如：

conf/spark-env.sh：第 63 行： spark.pyspark.driver.python=/python_path/bin/python: 没有这样的文件或目录 conf/spark-env.sh：第 64 行： spark.pyspark.python=/python_path/bin/python: 没有这样的文件或目录

Answer 1

1) 检查你的 python 目录的权限。也许 Spark 没有正确的权限。尝试做：sudo chmod -R 777 /python_path/bin/python

2) Spark documentation 说：

如果设置了属性 spark.pyspark.python，则优先。

所以也尝试在conf/spark-defaults.conf 中设置spark.pyspark.python。

3) 此外，如果您使用具有多个节点的集群，您需要检查 Python 是否安装在每个节点上的正确目录中，因为您不知道从哪里开始工作。

4) Spark 将使用您的系统 PATH 上可用的第一个 Python 解释器，因此您可以像解决方法一样在 PYTHON 变量中设置 Python 的路径。