【问题标题】:Do we call one machine as datanode and nodemanager?我们称一台机器为datanode和nodemanager吗?
【发布时间】:2020-11-13 07:43:24
【问题描述】:

HDFS 有两个节点 namenodes 和 datanodes。 YARN 有一个资源管理器和一个节点管理器。 我想知道这些实体是否在单台机器上。就像一台机器上的namenode和资源管理器在一起。 Datanode 和 nodemanager 一起在其他机器上。据我了解,客户端向 namenode 请求存储数据的信息,这类似于向资源管理器请求资源。 datanode 包含数据,即 wat nodemanager 包含在其上执行 map reduce 作业的数据。

如果我对 HDFS 的理解有误,请纠正我。 谢谢

【问题讨论】:

    标签: mapreduce hdfs hadoop2


    【解决方案1】:

    Namenode、Datanode、ResourceManger 和 NodeManager 都是运行在不同节点/机器上的服务。 没有硬性规定这些服务需要在不同的机器上运行或两个/三个组合在同一台机器上,这取决于管理员,他想如何部署,你绝对可以让它们一起运行在相同的节点/机器上.同一节点/机器上的 Datanode 和 NodeManager 以及不同同一机器上的 Namenode/ResourceManager 没有什么特别的。 您可以将它们全部放在单独的机器上,也可以将它们放在一起,比如 Namenode 和 Datanode 放在一起,ResourceManager 和 NodeManager 放在一起,具体取决于机器上可用的资源(Memory/vCores)。

    对于 HDFS 架构: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

    对于 YARN 架构: https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

    Note.Namenode和Datanode是HDFS的一部分,HDFS是存储层,ResourceManager和NodeManager是YARN的一部分,YARN是Resource Negotiator。所以 HDFS 和 YARN 虽然通常一起工作,但在设计和架构上却相当独立

    【讨论】:

      猜你喜欢
      • 2023-03-12
      • 2013-05-14
      • 1970-01-01
      • 1970-01-01
      • 2013-09-23
      • 1970-01-01
      • 2012-01-14
      • 2012-10-15
      • 1970-01-01
      相关资源
      最近更新 更多