我们如何在 Jupyter 上修改 PySpark 配置答案

【问题标题】：How can we modify PySpark configuration on Jupyter我们如何在 Jupyter 上修改 PySpark 配置
【发布时间】：2019-02-10 11:32:41
【问题描述】：

我目前正在研究 Jupyter（实验室）和 PySpark 2.1.1。

我想从笔记本更改 spark.yarn.queue 和 master。因为内核spark 和sc 在我打开笔记本时可用。

按照this question，我试过了

spark.conf.set("spark.yarn.queue", "my_queue")

但根据spark.sparkContext.getConf()，上面的行没有影响。

spark.conf.setMaster("yarn-cluster")

不起作用，因为spark.conf没有这样的方法。

问题：如何从 Jupyter 笔记本更改配置（队列和主控）？

（或者我应该设置任何环境变量吗？）

【问题讨论】：

标签： apache-spark pyspark jupyter-notebook

【解决方案1】：

您可以尝试预先初始化 spark，而不是在 notebook 中。在终端上运行：

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

pyspark --master <your master> --conf <your configuration> <or any other option that pyspark supports>.

My source

【讨论】：

您编写的命令必须有效，但无效。我正在寻找原因。
我认为我们的大数据团队配置错误（或者还没有）。感谢您的帮助。
当然。如果我能提供任何进一步的帮助，请告诉我。