HBase 压缩队列大小到底是多少？

Question

有人知道 regionserver 队列大小是什么意思吗？

根据文档的定义：

9.2.5. hbase.regionserver.compactionQueueSize 压缩队列的大小。这是该地区的商店数量 以压缩为目标。

是regionserver需要major compacted的Store（或者store files？我听说有两个版本）的数量。

我有一份使用顺序键（非分布式）以热点样式编写数据的工作。 我在指标历史记录中看到，有一次它发生了一个 compaction-queue-size = 4。 这在理论上是不可能的，因为我在任何时候都只有一个 Store 可以写（顺序键）。

然后我挖掘日志，发现有任何关于队列大小> 0的提示： 每个主要的压缩都说“这个选择在队列中等待了 0 秒”

013-11-26 12:28:00,778 信息 [regionserver60020-smallCompactions-1385440028938] regionserver.HStore：在 f1 中完成了 3 个文件的主要压缩 myTable.key.md5.... 进入 md5....(size=607.8 M)，总大小为 store 为 645.8 M。此选择排队等待 0 秒，耗时 39 秒 执行。

更令人困惑的是：早期版本没有启用多线程，只是将每个压缩作业分配给一个线程，因此存在压缩队列？

可惜hbase doc里没有详细的解释。

Answer 1

我不完全理解你的问题。但让我尽量回答它。

首先让我们谈谈 HBase 的一些术语。 Source

Table       (HBase table)
  Region      (Regions for the table)
    Store       (Store per ColumnFamily for each Region for the table)
      MemStore    (MemStore for each Store for each Region for the table)
      StoreFile   (StoreFiles for each Store for each Region for the table)
        Block       (Blocks within a StoreFile within a Store for each Region for the table)

HBase 中的Region 定义为两个行键之间的Rows。如果您的Table 中有多个ColumnFamily，您将在ColumnFamily 和Region 中获得一个Store。每个Store 都会有一个MemStore 和0 个或多个StoreFiles

StoreFiles 是在刷新 MemStore 时创建的。每隔一段时间，后台线程就会触发一次压缩以控制文件数量。有两种类型的压缩：主要的和次要的。当一个 Store 的目标是进行次要压缩时，它还会拾取一些相邻的 StoreFiles 并将它们重写为一个。次要压缩不会删除已删除/过期的数据。如果次要压缩获取了 Store 中的所有 StoreFiles，则将其提升为主要压缩。在一次major compaction中，一个Store的所有StoreFiles都被重写为一个StoreFile。

好的...那么压缩队列是什么？ 它是 RegionServer 中已作为压缩目标的 Store 数量。同样，Flush Queue 是等待刷新的 MemStore 的数量。

关于为什么可以异步执行队列的问题，我不知道。这将是在 HBase 邮件列表中提出的一个很好的问题。它往往具有更快的响应时间。

编辑：压缩队列不会占用 RegionServer 100% 的资源。