批量加载迁移期间的区域拆分

Question

在从 RDBMS 到 Hbase 的批量数据迁移过程中，区域拆分是否经常发生？如果它发生的次数更多，那么它肯定会影响写入和读取性能。

我知道预分割可以在一定程度上避免这个区域的分裂。

但是在我们的产品设计中，首先我们会在 Hbase 中单独写入新数据（可能会持续 6 个月），一旦 Hbase 系统对新数据的读写稳定，就会开始将数据从 RDBMS 迁移到 Hbase .在这个阶段，我怀疑region split可能过于频繁，因为数据太大，会影响读写性能。

我们的行键将按每个用户的顺序递增。对于不同的用户，它会以不同的方式开始。

请提出一些解决方案，以在数据迁移期间保持服务器的性能。

Answer 1

我是不预先拆分 hbase 的支持者。该产品的主要功能之一是自动分片。拆分是一个非常快速的操作，但它会让你走上压缩的道路。我发现 hbase 中的堆压缩表现不佳。在 Splice Machine（开源），我们将压缩转移到 Spark 上，我们发现对 hbase 中的操作几乎没有影响。