如何使用自定义 spark-defaults.conf 设置

Question

我已向 conf/spark-defaults.conf 添加了一个自定义值，但该值未被使用。

stephen@ubuntu:~/spark-1.2.2$ cat conf/spark-defaults.conf
spark.akka.frameSize    92345678

现在让我们运行我的程序 LBFGSRunner

sbt/sbt  '; project mllib; runMain org.apache.spark.mllib.optimization.LBFGSRunner spark://ubuntu:7077'

请注意以下错误：未使用 conf 设置：

[error] Exception in thread "main" org.apache.spark.SparkException: 
Job aborted due to stage failure: Serialized task 0:0 was 26128706 bytes, 
which exceeds max allowed: spark.akka.frameSize (10485760 bytes) - 
reserved (204800 bytes). Consider increasing spark.akka.frameSize
 or using broadcast variables for large values

Answer 1

注意：在 Linux Mint 中工作。

如果您在 spark-defaults.conf 中设置属性，则仅当您使用 spark-submit 提交作业时，spark 才会采用这些设置。

文件：spark-defaults.conf

spark.driver.extraJavaOptions      -Dlog4j.configuration=file:log4j.properties -Dspark.yarn.app.container.log.dir=app-logs -Dlogfile.name=hello-spark
spark.jars.packages                 org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1,org.apache.spark:spark-avro_2.12:3.0.1

如果你想在开发模式下运行你的工作。

spark = SparkSession.builder \
    .appName('Hello Spark') \
    .master('local[3]') \
    .config("spark.streaming.stopGracefullyOnShutdown", "true") \
    .config("spark.jars.packages", "org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1") \
    .getOrCreate()