【发布时间】：2013-11-17 05:51:10
【问题描述】：
请告诉我，在从 RDB 到 Hadoop HDFS 的数据迁移中，哪种工具更适合验证数据。
我的要求是验证从 oracle 迁移到 hadoop hdfs 的数据。输出是一个存储到 hadoop hdfs 中的平面文件。
【问题讨论】：
标签： hadoop apache-pig hdfs bigdata sqoop
【发布时间】：2013-11-17 05:51:10
【问题描述】：
这是一次性迁移吗？还是应该每天运行并保持数据同步？
【讨论】：
-
嗨拉贾。它每天运行
-
您可以尝试使用 Oracle 的 Bigdata 连接器编写自己的 mapreduce。在这种方法中，您将更好地控制数据验证逻辑。或者您可以使用 Sqoop、Hive、Pig 等工具。更多信息：move-data-from-oracle-to-hdfs
-
我必须在迁移完成后验证数据，而不是将数据从 oracle 迁移到 hdfs。我对 PIG、hive、Sqoop 有一些基本的了解。我的要求是我必须比较从源到目标的数据。不确定哪一个最适合..这有什么帮助吗？