HDP + ambari + yarn 节点标签和 HDFS答案

【问题标题】：HDP + ambari + yarn node lables and HDFSHDP + ambari + yarn 节点标签和 HDFS
【发布时间】：2020-12-12 13:18:54
【问题描述】：

我们有 Hadoop 集群（带有 ambari 的 HDP 2.6.4 集群，有 5 台数据节点机器）

我们正在使用 spark 流应用程序（spark 2.1 在 Hortonworks 2.6.x 上运行）

目前的情况是 Spark Streaming 应用程序运行在所有 datanodes 机器上

也许有些人通过纱线节点标签知道我们可以让 Spark 流应用程序仅在前 2 个数据节点机器上运行

因此，例如 - 我们在前 2 个数据节点机器上配置了 yarn 节点标签，那么在其他 3 个数据节点机器上，spark 应用程序将不会运行，因为纱线节点标签已禁用

我的问题是 - 是否有可能通过纱线节点标签也可以禁用最后 3 个数据节点机器上的 HDFS，（以避免任何复制最后三个数据节点上的 HDFS )

【问题讨论】：

【解决方案1】：

您可以decomission a datanode。如果您这样做，那么根据定义，它不是 HDFS 的一部分，这意味着您基本上是在停止 HDFS 服务并将它们从集群中删除，这与限制运行哪些作业不相同它们（例如通过 YARN 节点标签）

节点标签控制哪些 NodeManager 运行代码，与 DataNode 没有直接关系。

您可以让 NodeManangers 在 DataNodes 之外运行，但这违背了使用 HDFS 的“将计算移至数据”功能的目的，从而导致作业运行速度变慢

【讨论】：