【发布时间】:2018-04-10 05:29:30
【问题描述】:
我无法找到问题的答案:
我想预先拆分 HBase 表,例如在 5 个地区。我设置的配置中的最大文件大小为 10GB。 (当然只是例子)。如果我将填写我所有的 5 个区域作为表格怎么办? HBase 会为此创建第 6 个区域吗?
我发现它会自动分成 2 个区域,但我需要确定和一些解释。
感谢所有回答。
【问题讨论】:
标签: hadoop hbase bigdata cloudera-cdh
我无法找到问题的答案:
我想预先拆分 HBase 表,例如在 5 个地区。我设置的配置中的最大文件大小为 10GB。 (当然只是例子)。如果我将填写我所有的 5 个区域作为表格怎么办? HBase 会为此创建第 6 个区域吗?
我发现它会自动分成 2 个区域,但我需要确定和一些解释。
感谢所有回答。
【问题讨论】:
标签: hadoop hbase bigdata cloudera-cdh
让我们先讨论一下预拆分。
仅在我们知道键的分布时才推荐使用,否则如果数据中存在任何倾斜,预拆分可能会导致数据加载不均匀。
它是 Hbase 的一般性质,用于自动和可配置的表分片。
引自 Cloudera Hbase 站点:-
无论是否使用预拆分,一旦某个区域达到一定的限制,它就会自动拆分为两个区域。
您可以通过设置配置“hbase.regionserver.region.split.policy”或配置表描述符来配置要使用的默认拆分策略。我们还可以实现我们自己的自定义拆分策略,并在创建表时将其插入,或者通过修改现有表:
HTableDescriptor tableDesc = new HTableDescriptor("example-table");
tableDesc.setValue(HTableDescriptor.SPLIT_POLICY, <SplitPolicy.class.getName()>);
//add columns etc
admin.createTable(tableDesc);
更多信息:-https://hortonworks.com/blog/apache-hbase-region-splitting-and-merging/
【讨论】: