在 HBase 中截断表并没有为 HDFS 释放空间答案

【问题标题】：Truncating a table in HBase did not free up space for HDFS在 HBase 中截断表并没有为 HDFS 释放空间
【发布时间】：2021-08-23 23:49:23
【问题描述】：

我在使用 HBase 和 HDFS 时遇到了问题，因为我知道 HBase 在 HDFS 之上运行，因此我认为它使用 HDFS 来存储其数据。问题是 HDFS 接近其最大空间利用率，并且它和 HBase 不断崩溃。

这是HDFS选项卡中监控工具Ambari的图片：

在相当长的一段时间内，我什至无法运行普通的 HBase shell 命令，例如 list 和 scan，因此我什至无法尝试从表中删除一些数据。但是，当我设法重新启动在单个节点中运行的 HBase 时，我截断了使用最大空间量的表，当我通过 du（磁盘使用）命令检查时，hdfs 目录更大。而且 HDFS 的空间利用率仍然很高。如果不从 HBase 中删除条目，如何释放 Hadoop 分布式文件系统中的空间？手动删除 HDFS 中的随机目录感觉非常草率，我不希望这样做。我应该增加 HDFS 保留空间吗？我应该减少复制吗？我应该强制压缩吗？

【问题讨论】：

你有表快照吗？如果是这样，数据可能由快照保存。
@shay__ 实际上，我们通过增加运行 HBase 和 HDFS 的 VM 的磁盘空间解决了这个问题。不确定这是否是一个值得回答的解决方案

标签： hadoop hdfs hbase ambari

【解决方案1】：

为运行 HBase 和 HDFS 的 VM 增加磁盘空间大大减少了 HDFS 存储的使用量，这足以满足我的需要。

只要确保您正在扩展 HDFS 实际所在的分区即可。

【讨论】：