恢复 Hadoop NameNode 故障

Question

场景 1：

HDFS fsimage 和 editlog 被写入多个位置，包括 NFS 挂载。

A) NameNode 守护进程崩溃： 解决方案： 重启Namenode进程即可

B) 运行名称节点的主机已关闭。

解决方案：

1. 使用空的 dfs.name.dir 在不同的主机中启动名称节点
2. 将 dfs.name.dir 指向我们拥有元数据副本的 NFS 挂载。 或
3. 在将 fs.checkpoint.dir 从辅助 NameNode 指向检查点目录后启动 namenode 时使用 --importCheckpoint 选项
4. 将 fs.default.name 更改为备份主机名 URI，并使用 slaves 文件中的所有从 IP 重新启动集群。

注意 - 我们可能会错过在最后一个检查点之后可能发生的编辑。

场景二：

HDFS fsimage 被写入单个目录。

A ) NameNode 守护进程崩溃： 解决方案：未知

B ) 主机在名称节点运行的地方停机。

解决方案：

1. 创建一个空白目录，将 dfs.name.dir 指向 (1) 中的目录
2. 在将 fs.checkpoint.dir 从辅助 NameNode 指向检查点目录后，使用 -importCheckpoint 启动 Namenode
3. 将 fs.default.name 更改为备份主机名 URI，并使用 slaves 文件中的所有从 IP 重新启动集群。

这样我们会再次错过上次检查点后编辑的文件。

如果这是我们可以手动恢复集群的方法，请告诉我。

Answer 1

在生产环境中，您应该使用quorum of journalling nodes 或共享HA-NFS storage 以HA 模式运行NameNodes，以用于编辑日志事务文件。如果您不想或不使用 HA，则需要运行 NN，其中至少有两个存储目录用于图像和编辑日志，最好将一个作为软挂载的 NFS 挂载点，用于名称系统的自动机器外持久性.

如果您只有一个存储目录并且没有 HA 配置，那么您可以获得的最佳结果是过去时期的检查点 - 如果您丢失了所有文件。如果您没有丢失文件，您可以尝试hadoop namenode -recover 选项，如post 所示，以便能够恢复图像以及部分（或全部）编辑。