【问题标题】:hbase completebulkload long runninghbase completebulkload 长时间运行
【发布时间】:2019-05-17 14:48:56
【问题描述】:

hadoop 集群从 CDH 4.4 升级到 CDH 5.7.6,HBASE:0.94 -> 1.2.0 在那之后,hbase completebulkload 过程的时间从小表的 2 小时增加到 3-4 小时,大表的 10 多个小时。为什么会发生?我应该检查什么?

【问题讨论】:

  • 检查新旧安装的参数,其中一些可能已损坏
  • 我想这是由于大量的压缩。我找到了以下参数:hbase.regionserver.thread.compaction.small。增加它是个好主意吗?
  • 第一件事是您需要确保您的数据在区域服务器之间均匀/均匀分布(带有盐渍的整洁行键设计),以避免一个区域出现热点。基于此,您可以决定相关的压缩...

标签: hadoop hbase bulk-load


【解决方案1】:

问题出在禁用的块缓存中。如果您使用 LoadIncrementalHFiles 通过代码加载 hfiles,则它可以正常工作。 https://issues.apache.org/jira/browse/HBASE-10500

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-04-16
    • 2018-04-07
    • 1970-01-01
    • 1970-01-01
    • 2016-11-20
    • 2011-03-16
    • 2016-06-25
    相关资源
    最近更新 更多