【问题标题】:HBASE: Column Family related operations, after the fact?HBASE: Column Family 相关操作,事后呢?
【发布时间】:2013-07-01 10:28:52
【问题描述】:

有没有办法在 HBase 中将一个列族拆分为多个族?

这显然是个坏主意,但在某些情况下它可能是值得的,即

1) 如果您有足够的时间让您的 HBase 服务器离线,并发现有机会优化一些仅与几列相关的 mapreduce 作业。

2) 您正在从 sqoop 导入(没有 sqoop 专家,但默认情况下它似乎将数据库的每一行映射到单个列族 - 如果错误,请纠正)。

3) 您只是在应用的早期忽略了一些访问模式。

相关

有没有办法将列族合并到一个新表中(即当基数偏离足够大以提高性能时)?

【问题讨论】:

    标签: hadoop hbase etl column-family


    【解决方案1】:

    我们使用批量加载来做到这一点。我们必须编写 MR 作业以使用 HFileOutputFormat 从一个列族拆分为 2 个列族。

    这个输出是使用 completebulkload 加载到 hbase

    【讨论】:

    • 从一开始就设计合适的列族非常重要。对我们来说,它最初是使用大量 SQL 概念设计的(太多规范化了)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-01-19
    • 1970-01-01
    • 2019-11-25
    相关资源
    最近更新 更多