使用 Spark 类型安全配置提交应用程序属性文件

Question

拜托，我需要你的帮助，我正在尝试使用类型安全配置为我的 spark 应用程序提交一个外部配置文件。

我正在我的应用程序代码中加载 application.conf 文件，如下所示：

  lazy val conf = ConfigFactory.load()

文件内容

  ingestion{
  process {
    value = "sas"
  }
  sas {
    origin{
      value = "/route"
    }
    destination{
      value = "/route"
    }
    extension{
      value = ".sas7bdat"
    }
    file{
      value = "mytable"
    }
    month{
      value = "201010,201011"
    }
    table{
      value = "tbl"
    }
  }
}

我的 spark 提交是

spark2-submit --class com.antonio.Main --master yarn --deploy-mode client --driver-memory 10G --driver-cores 8 --executor-memory 13G --executor-cores 4 --num-executors 10 --verbose  --files properties.conf /home/user/ingestion-1.0-SNAPSHOT-jar-with-dependencies.jar --files application.conf

但由于某种原因，我收到了

com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'ingestion'

一切看起来都配置正确？？我错过了什么吗？

谢谢，

安东尼奥

Answer 1

默认情况下，您的application.conf 必须存在于类路径的根目录中，ConfigFactory.load() 才能找到它。或者，您可以通过系统属性修改找到application.conf 文件的位置。因此，您的选择如下。

第一种选择是将作业的根目录添加到类路径：

spark2-submit ... \
    --conf spark.driver.extraClassPath=./  \
    --conf spark.executor.extraClassPath=./  \    // if you need to load config at executors
    ...

保持--files 选项不变。请注意，如果您在客户端模式下运行作业，则必须将驱动计算机上application.conf 所在位置的正确路径传递给spark.driver.extraClassPath 选项。

第二种选择是（我认为这个更好），您可以使用config.file 系统属性来影响ConfigFactory.load() 查找配置文件的位置：

spark2-submit ... \
    --conf spark.driver.extraJavaOptions=-Dconfig.file=./application.conf \
    --conf spark.executor.extraJavaOptions=-Dconfig.file=./application.conf \
    ...

关于在执行器上加载配置并保留--files 选项的备注也适用于此处。