【问题标题】:Is Stand-by-namenode doing the job of Secondary-namenode also?Stand-by-namenode 是否也在做 Secondary-namenode 的工作?
【发布时间】:2015-12-10 18:48:06
【问题描述】:

朋友们,我知道在hadoop2中我们配置高可用的时候不需要配置secondary-name-node/checkpoint-node/backup-node。使用一种新的机制,可用性是由活动和备用名称节点之间共享的编辑提供的。

我的问题是,辅助名称节点功能是定期将编辑文件与 fsimage 文件合并,因此在 hadoop1 世界中提供了 2 个好处 1)限制编辑文件的大小和 2)通过保持fsimage 几乎是最新的。

因此,如果启用了高可用性并且不需要辅助名称节点。那么谁将使用 fsimage 进行编辑拼接呢?还是由于一些架构/流程更改,现在不需要该步骤。

帮助我理解它。

【问题讨论】:

    标签: hdfs hadoop2


    【解决方案1】:

    有两种部署 HDFS HA 的模式(注意,这是当前的 2.7.1 状态,如果您在 2016 年之后的某个时间访问这篇文章,情况可能会发生变化):

    对于这两种配置,文档明确指出了您问题的答案:

    注意,在 HA 集群中,Standby NameNode 也执行命名空间状态的检查点,因此在 HA 集群中不需要运行 Secondary NameNode、CheckpointNode 或 BackupNode。事实上,这样做将是一个错误。这也允许重新配置未启用 HA 的 HDFS 集群启用 HA,以重用他们之前专用于辅助 NameNode 的硬件。

    【讨论】:

    • 谢谢,答案很简单。 :)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2015-10-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-05-11
    • 2014-09-26
    • 1970-01-01
    相关资源
    最近更新 更多