hbase 中的增量数据加载

Question

我正在寻找将增量数据（基于源表的时间戳）加载到我的表中的最佳方式。我有一个源表（在 hbase 中），其中的数据每天都会更新。在第一个流程中，我必须将完整数据传输到我的测试表（在 hbase 中）。第二天，我只需要从源表中传输新添加的记录。为此，我将使用时间戳来区分需要传输和不需要传输的内容。那么什么是最好的转移方式。我应该使用 PIG、MapReduce 还是 Spark？

Answer 1

您是否考虑过使用像org.apache.hadoop.hbase.mapreduce.CopyTable 这样的现有类？它们支持增量复制。

无需编写代码。