spark 独立模式通过 spark.driver.extraJavaOptions

Question

我的应用程序连接到一个 spark 集群（只是启动一个 master 和一些 slave，没有使用 yarn），现在它为 ObjectInputStream 抛出 StackOverwflowErr，所以我应该增加驱动程序和执行程序的 -Xss。 文档说您不能在应用程序代码中更改驱动程序属性（使用 sparkConf）。

更改 spark-defaults.conf 不起作用（我猜它只适用于 spark-submit） 那么我应该如何更改驱动相关的配置呢？

Answer 1

我刚刚用过： conf.set("spark.executor.extraJavaOptions","-Xss4m") 在我的 java 代码中，现在 spark executor 使用 xss=4m 运行。我对 spark 文档的这一部分有偏见：

注意：在客户端模式下，此配置不能通过 SparkConf 直接在你的应用程序中，因为驱动程序 JVM 有 那时已经开始了。相反，请通过 --driver-java-options 命令行选项或在您的默认属性文件中。