了解火花--master答案

【问题标题】：Understanding spark --master了解火花--master
【发布时间】：2016-03-09 20:47:58
【问题描述】：

我有一个简单的 spark 应用程序，可以从配置文件中读取 master：

new SparkConf()
  .setMaster(config.getString(SPARK_MASTER))
  .setAppName(config.getString(SPARK_APPNAME))

当我的应用程序运行不正常时会发生什么：

spark-submit --class <main class> --master yarn <my jar>

我的主人会被覆盖吗？

我更喜欢以标准方式提供主服务器，因此我不需要在我的配置中维护它，但是问题是如何直接从 IDEA 运行此作业？这不是我的应用程序参数，而是 spark-submit 参数。

为了澄清，我想要的最终产品应该：
当使用 --master yarn 在集群中运行时，将使用此配置
当从 IDEA 运行时将使用 local[*]

【问题讨论】：

【解决方案1】：

不要在代码中设置 master。
在生产中，您可以使用spark-submit 的选项--master，这将告诉spark 使用哪个master（在你的情况下是纱线）。 spark-defaults.conf 文件中spark.master 的值也可以完成这项工作（优先级是--master，然后是配置文件中的属性）
在一个 IDEA 中...我知道在 Eclipse 中您可以在运行配置-Dspark.master=local[*] 中传递一个 VM 参数，例如 (https://stackoverflow.com/a/24481688/1314742)。在 IDEA 中我觉得差别不大，你可以查看here 来添加 VM 选项

【讨论】：