如果我在更改 spark-env.sh 或 spark-defaults 后在 yarn 上运行 spark，是否需要重新启动节点？答案

【问题标题】：Do I need to restart nodes if i am running spark on yarn after changing spark-env.sh or spark-defaults?如果我在更改 spark-env.sh 或 spark-defaults 后在 yarn 上运行 spark，是否需要重新启动节点？
【发布时间】：2020-12-20 09:55:37
【问题描述】：

我正在努力更改 spark 的 conf，以限制我的 spark 结构化流日志文件的日志。我已经想到了这样做的属性，但它现在不起作用。我需要重新启动所有节点（名称和工作节点）还是重新启动作业就足够了。我们正在使用 google dataproc 集群并使用 yarn 运行 spark。

【问题讨论】：

您需要重新启动正在运行的应用程序才能选择更新的值。请提供更多详细信息，您做了哪些更改？以及你是如何提交申请的。正常的应用重启就足够了

标签： apache-spark spark-streaming hadoop-yarn google-cloud-dataproc dataproc

【解决方案1】：

最简单的方法是在集群创建期间使用Dataproc Cluster Properties 设置这些属性：

gcloud dataproc clusters create $CLUSTER_NAME \
  --properties spark:<key>=<value>,yarn:<key>=<value>

或在提交 Spark 应用程序时设置它们。

【讨论】：