为什么 apache spark 在尝试获取 spark 配置时会抛出异常答案

【问题标题】：Why apache spark throw an exception when a try to get an spark configuration为什么 apache spark 在尝试获取 spark 配置时会抛出异常
【发布时间】：2021-10-09 15:17:24
【问题描述】：

当我尝试这样做时：

SparkConf conf = new SparkConf().setAppName("SparkUnitTest").setMaster("local[*]");
SparkSession sparkSession = SparkSession
                .builder()
                .config(conf)
                .getOrCreate();

JavaSparkContext sparkContext = JavaSparkContext.fromSparkContext(sparkSession.sparkContext());
sparkContext.getConf().get("spark.files.maxPartitionBytes")

我收到此错误：

java.util.NoSuchElementException: spark.files.maxPartitionBytes

【问题讨论】：

因为设置其实是spark.**sql**.files.maxPartitionBytes?
可以先添加你的代码吗？
是的，已添加代码

标签： java apache-spark configuration

【解决方案1】：

您要查找的配置属性是：

spark.sql.files.maxPartitionBytes

而不是：

spark.files.maxPartitionBytes

在spark sql performance tuning查看更多详情

【讨论】：

也不行，同样的错误。此配置存在于 Spark 3.1.1 中，但似乎如果我不更改默认值，它会保持为空/null。 spark.apache.org/docs/3.1.1/configuration.html#spark-properties

【解决方案2】：

查看 Spark 属性

“位于 http://:4040 的应用程序 Web UI 在“环境”选项卡中列出了 Spark 属性。这是一个有用的地方，可以检查以确保您的属性已正确设置。请注意，只有值通过 spark-defaults.conf、SparkConf 或命令行显式指定会出现。对于所有其他配置属性，您可以假设使用默认值。"

https://spark.apache.org/docs/3.1.1/configuration.html#spark-properties

【讨论】：