如何将配置从 spark-submit 传递到纱线集群？答案

【问题标题】：How to pass configuration from spark-submit to yarn cluster?如何将配置从 spark-submit 传递到纱线集群？
【发布时间】：2018-10-29 06:50:30
【问题描述】：

我想知道 spark-submit 有什么方法可以临时更改 yarn 作业的配置？

问题是因为我们的 Spark over yarn 集群的历史服务器只允许管理员访问，不方便用户检索自己的作业日志。我在 mapreduce-default.xml 中了解到“mapreduce.job.acl-view-job”可以更改特定作业的 ACL。当我使用spark-submit 启动作业时，“--conf”是为 spark 本身保留的，但是如何从命令行和应用程序一起设置 yarn 的配置？

【问题讨论】：

标签： apache-spark hadoop mapreduce hadoop-yarn spark-submit

【解决方案1】：

您可以通过添加带有spark.hadoop. 前缀的--conf 来修改Spark 的Hadoop 配置（通过SparkContaxt.hadoopConfiguration 获得）。

在你的例子中是

spark-submit --conf spark.hadoop.mapreduce.job.acl-view-job=YOUR_ACL_STATEMENT ...

【讨论】：