在 EMR 上修改纱线配置答案

【问题标题】：Modifying yarn config on EMR在 EMR 上修改纱线配置
【发布时间】：2018-01-20 07:26:32
【问题描述】：

我需要更改 EMR 集群上的 YARN 配置。我需要对 Hadoop master 上的 yarn-site.xml 文件进行更改吗？如果是这样，我如何将更改传播到 datanodes ？我是否只需要按照此处详细说明重新启动纱线？我正在使用 EMR 5.8.0。

https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

【问题讨论】：

How to set spark.driver.memory for Spark/Zeppelin on EMR的可能重复
这不是完全重复，但它是相同的想法
基于此线程，似乎无法将修改后的配置推送到当前在 EMR 中的工作节点。 stackoverflow.com/questions/43404236/…
根据我的个人经验，它是作为集群创建配置的推送，就像我在回答中描述的那样

标签： hadoop hadoop-yarn amazon-emr

【解决方案1】：

您需要确定哪个 YARN 守护程序强制执行该参数，并且如果需要，需要相应地重新启动该守护程序。

例如： EMR Master 有 YARN ResourceManager EMR Core 有 YARN Nodemanager

如果您需要更改与 YARN ResourceManager 对应的参数（如 yarn.resourcemanager.*），那么您可能需要在 master 上编辑 yarn-site 并仅重新启动 ResourceManager 守护程序。

如果您想更改 yarn.nodemanager.* 之类的参数，则需要更改所有核心节点上的 yarn-site，并且可能需要重新启动所有核心节点上的 NodeManager 守护进程。

现在，当谈到如何同时更改所有核心的此设置时，有很多工具可以做到这一点（如 Ansible、PDSH、AWS SSM 等）。 EMR 没有任何支持动态更改配置的 API。如果您尝试使用所需配置配置集群，请使用 EMR 配置 API。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html

【讨论】：