step 1:使用hdfs-site.xml的配置项,排除节点。

<property>
<name>dfs.hosts.exclude</name>
<value>/your_path/excludes</value>
</property>

在excludes文件中添加要排除的节点主机名,一行一个

step 2:刷新datanode

hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report

在Hadoop站点上很快就能看到Decommission正在进行,此时NameNode会检查并将数据复制到其它节点上以恢复副本数(要移除的节点上的数据不会被删除,如果数据比较敏感,要手动删除它们)。通过命令也可以查看状态。

step 3:等状态变成Decommissioned后就可以关闭这个节点了,可在要移除的节点上运行相应的关闭命令。

hadoop-daemon.sh stop datanode

几分钟后,节点将从Decommissioned进入Dead状态。

step 4:从NameNode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名。

相关文章:

  • 2022-12-23
  • 2021-06-17
  • 2022-12-23
  • 2021-04-25
  • 2021-12-04
  • 2021-11-19
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-06-19
  • 2021-06-13
  • 2021-10-15
  • 2021-07-27
  • 2021-12-05
相关资源
相似解决方案