用户类抛出异常：java.util.NoSuchElementException：spark.driver.memory答案

【问题标题】：User class threw exception: java.util.NoSuchElementException: spark.driver.memory用户类抛出异常：java.util.NoSuchElementException：spark.driver.memory
【发布时间】：2018-06-07 15:38:31
【问题描述】：

运行 Intellij 应用程序时出现以下错误。有人知道为什么会失败吗？

用户类抛出异常：java.util.NoSuchElementException: spark.driver.memory

【问题讨论】：

如果没有您使用的代码很难说，但可能在某些地方您的应用程序会查找 spark.driver.memory 键但找不到它。但请提供更多背景信息。
这个异常是因为我需要在 Apache Spark 上更改代码或任何配置。
我在代码中使用下面的驱动程序内存来获取驱动程序内存：" + sparkSession.sparkContext.getConf.get("spark.driver.memory")
请分享完整的堆栈跟踪和相关代码。
我相信当你通过 intellij 运行它时，它会产生一个不同的 JVM，它的内存参数将由 -xmX 属性而不是 spark.driver.memory 或 --driver-memory 控制

标签： apache-spark

【解决方案1】：

这个方法抛出的错误：

/** Get a parameter; throws a NoSuchElementException if it's not set */
def get(key: String): String = {
  getOption(key).getOrElse(throw new NoSuchElementException(key))
}
// SparkConf.scala

因此，您可能没有明确指定spark.driver.memory 配置条目。你能告诉你如何提交工作吗？将哪些选项传递给spark-submit 命令？

【讨论】：