原因

学习需要,由两个节点扩充至三个节点。当我把hdfs的相关文件配置完毕,启动hdfs时,在web管理界面没有显示新增加的节点
Hadoop3.0 hdfs增加节点 导致元数据格式化 datanode节点丢失

坑1

在某个博客里看到,需要格式化namenode才能显示,我就听了他的话,本以为在格式化元数据后,不会影响datanode的数据,namenode会自动恢复,但是没有我想象中的那么简单。。。
Hadoop3.0 hdfs增加节点 导致元数据格式化 datanode节点丢失

坑2

不仅仅数据丢失,在格式化之后,重新启动hdfs,datanode无法启动。。。
原来在namenode格式化之后,会重新生成一个clusterID
对症下药,将namenode重新生成的clusterID复制到各个datanode节点上,重新启动即可。
$HADOOP_HOME/dfs/name/VERSION
$HADOOP_HOME/dfs/data/VERSION

解决

增加节点,直接复制的虚拟机,应该把之前节点生成的文件夹全部删除,重新启动即可
或者重新解压hadoop,重新进行相关配置
Hadoop3.0 hdfs增加节点 导致元数据格式化 datanode节点丢失

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-01-03
  • 2021-04-27
  • 2021-07-27
  • 2022-01-02
猜你喜欢
  • 2022-12-23
  • 2021-08-15
  • 2022-12-23
  • 2021-12-23
  • 2022-03-10
  • 2022-12-23
  • 2021-06-06
相关资源
相似解决方案