【问题标题】:What is difference between Hadoop Namenode HA and HDFS federationHadoop Namenode HA 和 HDFS 联合有什么区别
【发布时间】:2017-11-11 08:02:26
【问题描述】:

我对使用 QJM 和 HDFS 联合的 Hadoop Namenode HA 有点困惑。两者都使用多个名称节点并且都提供高可用性。我无法决定将哪种架构用于 Namenode 高可用性,因为除了 QJM 之外,两者看起来完全相同。

如果这不是这里要讨论的问题类型,请原谅我。

【问题讨论】:

    标签: hadoop high-availability federation quorum


    【解决方案1】:

    HDFS 高可用性和 HDFS 联合之间的主要区别在于联合中的名称节点彼此不相关。

    在 HDFS 联合中,所有名称节点共享一个元数据池,其中每个名称节点都有自己的池,因此提供容错,即如果联合中的一个名称节点发生故障,它不会影响其他名称节点的数据。

    所以,Federation = 多个名称节点并且没有相关性。

    在 HDFS HA 的情况下,有两个名称节点 - 主 NN 和备用 NN。 Primary NN 一直在努力工作,每次 Standby NN 只是坐在那里并偶尔更新它与 Primary Namenode 相关的元数据,这使得它们相关联。 当 Primary NN 厌倦了这种通常的工作表(即失败)时,Standby NameNode 会接管它拥有的任何最新元数据。

    对于 HA 架构,您需要至少有两台单独的机器配置为 Namenode,其中只有一台应该在活动状态下运行。

    更多详情:HDFS High Availability

    【讨论】:

    • 谢谢。这真的很有帮助。
    猜你喜欢
    • 2012-09-21
    • 2019-01-30
    • 2017-09-12
    • 1970-01-01
    • 2018-05-21
    • 2014-09-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多