从 Spark submit 命令读取 App.conf 和 Log4j.properties

Question

我正在尝试传递我的 jar 中的 application.conf 和 Log4j.properties，但我想从外部传递它们。我通过 spark submit 命令试了一下，如下：

/opt/apps/spark/bin/spark-submit 
    --files /opt/apps/spark/code/src/main/resources/application.conf 
    --conf spark.driver.extraJavaOptions=-Dconfig.file=/opt/apps/spark/code/src/main/resources/application.conf 
    --conf spark.executor.extraJavaOptions=-Dconfig.file=/opt/apps/spark/code/src/main/resources/application.conf 
    --driver-java-options Dlog4j.configuration=File:///opt/apps/spark/code/src/main/resources/Log4j.properties 
    --class com.ericsson.dnb.main.staging.SnifferReportStatus /opt/apps/spark/code/target/scala-2.12/dnb-reporting-1A-4.0.0.ft.jar

它不会抛出任何错误，但它只是从指定的路径读取 log4j.properties 并从 JAR 本身获取 application.conf。有什么方法可以通过 Spark submit 命令在 JAR 之外提供这两个配置？

Answer 1

我认为这是因为您忘记将 file:// 附加到您的应用程序配置文件中，而您对 log4j.properties 文件执行了相同操作。

下面的代码应该可以工作

/opt/apps/spark/bin/spark-submit --files File:///opt/apps/spark/code/src/main/resources/application.conf --conf spark.driver.extraJavaOptions=-Dconfig.file=File:///opt/apps/spark/code/src/main/resources/application.conf --conf spark.executor.extraJavaOptions=-Dconfig.file=File:///opt/apps/spark/code/src/main/resources/application.conf --driver-java-options -Dlog4j.configuration=File:///opt/apps/spark/code/src/main/resources/Log4j.properties --class com.ericsson.dnb.main.staging.SnifferReportStatus /opt/apps/spark/code/target/scala-2.12/dnb-reporting-1A-4.0.0.ft.jar