Hadoop namenode 高可用性答案

【问题标题】：Hadoop namenode High AvailabilityHadoop namenode 高可用性
【发布时间】：2016-06-25 19:31:22
【问题描述】：

我有一个关于名称节点高可用性的问题。名称节点非常重要，因为它存储了所有的元数据，如果它宕机了，整个 Hadoop 集群也会宕机。那么有没有什么好的方法来接近名称节点的高可用性，例如当主名称节点发生故障时，有一个备用名称节点可以接管？（现在我使用 Hadoop 1.1.2）

【问题讨论】：

标签： hadoop hdfs

【解决方案1】：

对于 ASF Hadoop 1.1.2，没有可靠的 NameNode HA 选项。这些是针对 2.0 发布的，并包含在 Cloudera 的 CDH4 等流行发行版中。

NameNode HA 的选项包括运行主 NameNode 和热备用 NameNode。它们在 NFS 挂载上或通过 HDFS 本身中的仲裁日志模式共享编辑日志。前者为您提供了用于存储 HDFS 元数据的外部源的好处，而后者为您提供了没有 Hadoop 外部依赖项的好处。

就个人而言，我喜欢 NFS 选项，因为您可以轻松地对驻留在文件服务器的数据进行快照/备份。这种方法的缺点是延迟方面的性能可能不一致。

更多详情，请查看以下文章：

【讨论】：

如果我们只是在名称节点宕机时重新启动它，它可以恢复一切吗？如果我们可以这样做，为什么我们需要设置一个备用名称节点？
备用 (HA) NameNode 可以配置为在主 NameNode 发生故障时自动启动。此外，如果主 NameNode 上的 fsimage 损坏，则会在 HA NameNode 上准备好一个暖副本。
好的。但我的问题是，如果我们只是重启name node，它可以恢复一切，对吗？
不，不一定。数据可能丢失/损坏。并不是所有的 NameNode 错误都是暂时的——事实上很多错误都不是。我建议研究 Hadoop 管理员指南以获取更多信息。