禁用 HBase 块缓存

Question

我正在使用通过 cloudera 部署的 apache hbase（1.0.0 版）和 phoenix（4.6 版）。由于我的 group by 查询聚合很慢，我想尝试禁用特定 hbase 表的块缓存。我尝试了几种方法，但都没有成功。我正在验证是否通过 hbase shell 启用/禁用了块缓存 - describe 'my_table' 命令。

1. 将 cloudera 控制台中的 'hfile.block.cache.size' 属性设置为 0
2. alter 'myTable', CONFIGURATION => {NAME => 'myColumnFamily', BLOCKCACHE => 'false'}

即使经过上述两个步骤，我在 describe 命令输出中得到 BLOCKCACHE => 'true'

COLUMN FAMILIES DESCRIPTION
{NAME => '0', DATA_BLOCK_ENCODING => 'FAST_DIFF', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', COMPRESSION => 'NONE', VERSIONS => '1', MIN_VERSIONS => '0', TTL => 'FOREVER',
KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

可能出了什么问题？有什么建议吗？

谢谢。

Answer 1

而不是

alter 'myTable', CONFIGURATION => {NAME => 'myColumnFamily', BLOCKCACHE => 'false'}

尝试做：

alter 'myTable', {NAME => 'myColumnFamily', BLOCKCACHE => 'false'}

Answer 2

phoenix.query.maxGlobalMemoryPercentage 和phoenix.query.maxGlobalMemorySize 的最小值控制进行分组聚合时中间结果的最大内存。修改此限制（默认 15%）可能会提高聚合性能。

Answer 3

我现在更清楚地理解了这个问题。 Phoenix 在 HBase 中实现协处理器以在 HBase 服务器上并行执行查询。

如果查询计划仅包含单个表扫描，则可能不需要缓存（maxGlobalMemory缓存）。但是凤凰目前不支持ROLLUP。对于GROUP BY，Phoenix 将在生成最终结果之前将中间映射（由协处理器返回）存储在内存中或溢出到磁盘（行为由phoenix.query.maxGlobalMemory 定义）。最好把它放在内存中。 HBase 块缓存设置在协处理器在每个 HBase 节点上执行时生效（因为您只希望读取此表一次，因此禁用这些列族的块缓存以减少垃圾收集开销和驱逐有用块是有意义的）。

因此，这两种设置是互补的。您可能希望在调整 maxGlobalMemory 缓存时禁用 HBase 块缓存。

关于设置不生效，http://hbase.apache.org/book.html#config.files

目前，此处的更改需要重新启动集群才能让 HBase 注意到更改。