【发布时间】:2019-05-17 14:48:56
【问题描述】:
hadoop 集群从 CDH 4.4 升级到 CDH 5.7.6,HBASE:0.94 -> 1.2.0 在那之后,hbase completebulkload 过程的时间从小表的 2 小时增加到 3-4 小时,大表的 10 多个小时。为什么会发生?我应该检查什么?
【问题讨论】:
-
检查新旧安装的参数,其中一些可能已损坏
-
我想这是由于大量的压缩。我找到了以下参数:hbase.regionserver.thread.compaction.small。增加它是个好主意吗?
-
第一件事是您需要确保您的数据在区域服务器之间均匀/均匀分布(带有盐渍的整洁行键设计),以避免一个区域出现热点。基于此,您可以决定相关的压缩...