HBase MasterProcWALs 问题

Question

我注意到由于一些持续存在的错误，Hbase MasterProcWALs 文件夹已填满了我的 Hdfs。我想知道删除 MasterProcWALs 文件夹下的文件是否会删除 Hbase 中的任何数据？

Answer 1

MasterProcWALs被master节点使用，这里是Apache HBase ™ Reference Guide给出的描述

HMaster 将管理操作及其运行状态（例如崩溃服务器的处理、表创建和其他 DDL）记录到过程存储中。过程存储 WAL 存储在 MasterProcWALs 目录下。 Master WAL 与 RegionServer WAL 不同。保持 Master WAL 允许我们运行一个状态机，该状态机在 Master 故障时具有弹性。例如，如果一个 HMaster 在创建表的过程中遇到问题并失败，则下一个活动的 HMaster 可以占用上一个停止的位置并完成操作。从 hbase-2.0.0 开始，引入了新的 AssignmentManager (A.K.A AMv2)，HMaster 处理区域分配操作、服务器崩溃处理、平衡等，所有这些都通过 AMv2 持久化所有状态和转换到 MasterProcWALs 而不是到 ZooKeeper，如我们在 hbase-1.x 中做。本节涉及 hbase-2.0.0 到 hbase-2.2.x。

所以 MasterProcWALs 包含 DDLs 过程，没有被 Active HBase Master 在永久存储上应用。如果删除它们并重新启动 HBase Master 或切换到另一个，它将无法读取存储在这些 WAL 中的过程并且它们将丢失。 master 将在 WAL 之前的最后一个已知状态下启动。数据在 RegionServers 级别进行管理，不应受到影响，除非它们的结构受到 WAL 中存储的某些过程的影响并丢失。

在此之前我会

• 检查 HBase UI 的“过程”选项卡中发生的情况，它显示过程和 WAL 文件。尝试找出问题的根本原因，WAL 文件的数量不应随着时间的推移而增加。
• 尝试重新启动主服务器，检查其日志，因为它会在启动期间读取 MasterProcWAL 文件。
• 仅当 HBase Master 启动期间出现阻塞问题时才删除它们。如果您决定删除它们，请执行备份，请谨慎操作，风险自负...

另见HBase Master won't start。

Answer 2

我们新安装了 CDP-DC 7.1.3 并经常收到“此运行状况测试很糟糕，因为服务监视器没有找到活动的主服务器。” 从 HDFS 清除 MasterProcWAL 后，它工作正常。