运行pyspark时将选项传递给python解释器的环境变量是什么？

【问题标题】：What is the environment variable for passing options to the python interpreter when running pyspark?运行pyspark时将选项传递给python解释器的环境变量是什么？
【发布时间】：2021-08-11 23:12:48
【问题描述】：

在调用pyspark 时，有一个环境变量用于将额外的选项传递给python 解释器。这个变量是什么？

$> PYSPARK_DRIVER_PYTHON=ipython <WHAT_NAME_HERE?>="--pylab" pyspark

official docs 中没有提到，但我知道它存在。

【问题讨论】：

标签： python pyspark environment-variables ipython

【解决方案1】：

是PYSPARK_DRIVER_PYTHON_OPTS，够明智的。

【讨论】：

您应该提到您使用的是哪个版本的 pyspark。您通过指向 pyspark 文档的链接暗示它是 2.2.0。与当前版本相比，这是相当老的（如果不是暂时的，那么按版本数量）。同样，您应该在回答中提到引入了 env var 的 pyspark 版本。
这绝对不是唯一一个。还有 PYSPARK_SUBMIT_ARGS 等