HDFS 高可用性的行为

【问题标题】：Behavior of HDFS High AvailabilityHDFS 高可用性的行为
【发布时间】：2018-05-02 05:13:02
【问题描述】：

当 NameNode (NN) 在高可用性 (HA) 配置中失败时，distributed copy (distcp) 如何在两个集群之间工作。

会不会因为name node和standby node的IP地址不同而导致job失败？

【问题讨论】：

【解决方案1】：

根据您的 HDFS HA 的配置，如果实现了 Automatic Failover，它可能会起作用（我个人在故障转移期间没有测试过特定的命令）。

另一个重要的部分是您是using names for the services，并且为所有相关节点正确设置和配置了 DNS（您永远不应使用直接 IP 地址）。

【讨论】：

【解决方案2】：

亚什万斯，在 HA Hadoop 集群中，不建议在 distcp 命令中使用活动名称节点。如果您在 distcp 命令中硬编码 Namenode IP 或 DNS，则您的问题的一个简单答案是肯定的。在 HA hadoop 集群中，您需要在 distcp 命令中使用 IP 中的集群名称。

【讨论】：