在HDFS集群内退役一个集群分几步
第一步
在NameNode主节点新添加一个文件
在dfs.hosts.exclude文件内添加需要退役的节点主机名、
第二步
在NameNode主节点的hdfs-site.xml文件添加配置,让dfs.hosts.exclude文件生效
第三步 刷新
在NameNode主节点的hadoop安装目录下执行以下命令
在Web页面查看
如果页面没有结果请重启集群,强制刷新Web页面(测试的话,需要多刷几次,电脑NB请略过)
http://node01:50070/dfshealth.html#tab-datanode
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
第一步:准备一个纯净的能ping通主节点的虚拟机,作为新节点
1.关闭防火墙
2.关闭seLinux
3.修改主机名(重启后生效)
4. 配置主机名与IP对应关系
5. SSH免密码登录
6. 安装JDK1.8
上传jdk到Linux 放到指定路径(规范路径也可以放在其他路径)
安装包放在 /export/soft 目录
解压到 /export/servers 目录
配置JDK环境变量
测试 jps命令是否可用
查看 java -version 是否是1.8版本
第二步:将新节点添加到集群中
从主节点远程拷贝hadoop到新节点的 /export/sources目录下
删除新增节点hadoop安装目录下的hadoopDatas(新解压的hadoop没有此目录跳过此步)
在NameNode主节点的hadoop安装目录下的etx/hadoop内添加一个新文件
让dfs.hosts文件在集群中生效,在当前路径下的hdfs-xite.xml加载dfs.hosts文件
刷新NameNode节点
修改NameNode的配置文件下的slaves配置文件,把包含新节点的所有的节点都添加到里面
回到新节点启动对应的服务“”
打开浏览器查看
http://IP:50070/dfshealth.html#tab-overview
http://IP:8088/cluster
第三步:执行负载均衡
NameNode主节点在hadoop安装目录下执行以下命令