打印 SparkSession 配置选项答案

【问题标题】：Print SparkSession Config Options打印 SparkSession 配置选项
【发布时间】：2016-09-10 04:03:47
【问题描述】：

当我启动 pyspark 时，会自动生成一个 SparkSession 并作为“spark”使用。我想打印/查看火花会话的详细信息，但在访问这些参数时遇到了很多困难。

Pyspark 自动创建一个 SparkSession。这可以使用以下代码手动创建：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("PythonSQL")\ 
        .config("spark.some.config.option", "some-value")\ 
        .getOrCreate()

我想查看/打印 appname 和 config 选项。我希望看到这些的原因是由于我遇到的另一个问题，这可能会有所启发。

【问题讨论】：

标签： python apache-spark pyspark

【解决方案1】：

可以使用SparkContext访问应用名称：

spark.sparkContext.appName

可以使用RuntimeConfig访问配置：

from py4j.protocol import Py4JError

try: 
   spark.conf.get("some.conf")
except Py4JError as e:
   pass

【讨论】：

谢谢，非常感谢！
我很高兴听到这个消息。如果解决了问题，请accept回答。