【问题标题】:How to run hadoop balancer from client node?如何从客户端节点运行 hadoop 平衡器?
【发布时间】:2015-07-18 14:52:41
【问题描述】:

我想问如何运行hadoop平衡器?我之前在namenode上尝试过运行hadoop balancer命令,但它根本没有效果(我的新datanode仍然是空的)。我还读到 hadoop 平衡器不是在 namenode 上运行,而是在客户端节点上运行。那么客户端节点是什么,如何配置,客户端节点如何访问hadoop文件系统呢?

谢谢大家,我需要你的建议

【问题讨论】:

标签: hadoop client hdfs nodes load-balancing


【解决方案1】:

客户端节点也称为边缘节点,通常组织中的所有开发人员都无法访问集群上的所有节点。因此,对于访问集群的开发人员,我们通常会有一个 Client 节点。您需要在客户端节点上安装 hadoop-client 软件包。如果您使用基于 cloudera RPM 的安装,您可以使用以下命令。

sudo yum install hadoop-client

客户端节点安装后更新您的配置文件,如 core-site.xml、hdfs-site.xml 和其他所需文件。现在,当您执行 hadoop CLI 命令时,它们将在集群上执行。

Balancer 可以从集群中的任何节点运行。它可以是客户端机器/集群中的任何节点。

sudo -u hdfs hdfs balancer

关于新添加的datanode,如果您的节点被添加,只需检查namenode web UI吗?如果你能看到那里,只需检查日志。

【讨论】:

  • 如果我使用随客户端节点安装一起提供的cloudera,但是在apache hadoop必不可少的情况下,我怎样才能拥有客户端节点?谢谢之前
猜你喜欢
  • 2014-04-10
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-04-27
  • 2021-12-21
  • 2019-06-18
相关资源
最近更新 更多