NameNode元数据解析

(1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)namenode记录操作日志,更新滚动日志。
(4)namenode在内存中对数据进行增删改查。

Fsimage,Edits详解

fsimage:

fsimage保存了最新的元数据检查点,在HDFS启动时加载fsimage信息,包含了整个HDFS文件系统的所有目录和文件的信息。
对于文件来说包括了数据块描述信息、修改时间、访问时间等。
对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。

editlog:

editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到editlog中。

Fsimage,editlog主要用于在集群启动时将集群的状态恢复到关闭前的状态

(为了达到这个目的,集群启动时将Fsimage、editlog加载到内存中,进行合并,合并后恢复完成)

元数据信息目录的配置:

hdfs-site.xml当中

1.Fsimage文件:
dfs.namenode.name.dir file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas ###### 2.editlog文件: dfs.namenode.edits.dir file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/nn/edits

Fsimage文件当中的文件信息查看

使用命令: hdfs oiv
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas/current
hdfs oiv -i fsimage_0000000000000000864 -p XML -o hello.xml
Fsimage,Edits详解

edits当中的文件信息查看

查看命令: hdfs oev
cd /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits/current
hdfs oev -i edits_0000000000000000865-0000000000000000866 -o myedit.xml -p XML

相关文章:

  • 2021-08-26
  • 2022-01-04
  • 2022-02-19
  • 2021-06-18
  • 2021-12-12
  • 2021-10-13
  • 2021-06-18
  • 2021-09-20
猜你喜欢
  • 2021-07-02
  • 2021-08-01
  • 2021-08-08
  • 2021-07-16
  • 2021-04-13
  • 2021-07-18
相关资源
相似解决方案