在HDFS集群内退役一个集群分几步

第一步
在NameNode主节点新添加一个文件
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
在dfs.hosts.exclude文件内添加需要退役的节点主机名、

第二步
在NameNode主节点的hdfs-site.xml文件添加配置,让dfs.hosts.exclude文件生效
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
第三步 刷新
在NameNode主节点的hadoop安装目录下执行以下命令
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
在Web页面查看
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
如果页面没有结果请重启集群,强制刷新Web页面(测试的话,需要多刷几次,电脑NB请略过)
http://node01:50070/dfshealth.html#tab-datanode

随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
第一步:准备一个纯净的能ping通主节点的虚拟机,作为新节点

1.关闭防火墙
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
2.关闭seLinux
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
3.修改主机名(重启后生效)
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
4. 配置主机名与IP对应关系
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
5. SSH免密码登录
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
6. 安装JDK1.8
上传jdk到Linux 放到指定路径(规范路径也可以放在其他路径)
安装包放在 /export/soft 目录
解压到 /export/servers 目录
配置JDK环境变量
测试 jps命令是否可用
查看 java -version 是否是1.8版本

第二步:将新节点添加到集群中
从主节点远程拷贝hadoop到新节点的 /export/sources目录下
删除新增节点hadoop安装目录下的hadoopDatas(新解压的hadoop没有此目录跳过此步)
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
在NameNode主节点的hadoop安装目录下的etx/hadoop内添加一个新文件
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
让dfs.hosts文件在集群中生效,在当前路径下的hdfs-xite.xml加载dfs.hosts文件
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
刷新NameNode节点
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
修改NameNode的配置文件下的slaves配置文件,把包含新节点的所有的节点都添加到里面
HDFS(退役节点),集群扩展(扩容)节点 图文详解,
回到新节点启动对应的服务“”HDFS(退役节点),集群扩展(扩容)节点 图文详解,
打开浏览器查看
http://IP:50070/dfshealth.html#tab-overview
http://IP:8088/cluster

第三步:执行负载均衡
NameNode主节点在hadoop安装目录下执行以下命令

HDFS(退役节点),集群扩展(扩容)节点 图文详解,

相关文章:

  • 2021-11-17
  • 2021-06-20
  • 2021-09-04
  • 2021-06-06
  • 2021-12-01
  • 2021-12-22
  • 2022-01-16
  • 2021-06-24
猜你喜欢
  • 2021-07-28
  • 2021-08-13
  • 2018-04-07
  • 2018-06-08
  • 2021-07-12
  • 2021-12-03
  • 2021-11-09
  • 2019-09-18
相关资源
相似解决方案