前提:

未使用secondarynameNode时,NameNode工作中会产生fsimage 和edtes,edits日志过大,直接导致集群 二次开机恢复原本状态过慢,引起开机时间过长。

secondarynameNode存在的意义

就是加快集群二次启动的速度(减小集群二次启动的时间)

secondarynameNode原理

secondarynameNode工作原理
(帮助NameNode 周期性在NameNode节点拷贝fsimage 和edtes 到自己的节点 上,进行合并,合并后生成全新的FSimage,最后将FSimage发送回NameNode.)
secondarynameNode最好是一个独立的节点, 此节点的配置最好与NameNode 相同。

触发secondarynameNode合并文件的条件

1、时间维度, 默认一小时合并一次 , 人为设置使用如下参数

dfs.namenode.checkpoint.period :3600
2、次数维度,默认100W次合并一次。人为设置使用如下参数

dfs.namenode.checkpoint.txns : 1000000 NameNode存储到元数据信息(fsimage 和edtes)可以多目录存储,防止元数据丢失。

相关文章:

  • 2022-12-23
  • 2021-11-12
  • 2021-09-01
  • 2022-01-01
  • 2021-05-05
  • 2021-12-01
  • 2021-12-10
猜你喜欢
  • 2021-05-23
  • 2022-01-06
  • 2021-05-28
  • 2022-01-11
  • 2021-10-16
  • 2021-12-19
  • 2022-02-12
相关资源
相似解决方案