如何验证从外部数据库（oracle）到 hdfs 的数据传输

Question

我有一份将数据从 oracle 传输到 hdfs 的工作。我需要一种有效的方法来验证此传输，以确保正确传输所有行。

Answer 1

我觉得一个简单的方法是从 Source Oracle 表中获取行数

 select count(*) from tablename;

您将从 Oracle 表中获取行数

从 HDFS 的角度来看

统计HDFS文件的总行数：

 hadoop fs -cat /yourdestinationhdfsfiles/* | wc -l

数据验证策略

创建一个类似于Oracle表结构

的（Temp）Hive表

从 Target HDFS 文件中获取少量记录并将数据加载到 HIVE 表中并验证记录和结构是否匹配。[手动验证过程]

注意：如果您有足够的存储空间和处理单元，也可以对完整数据执行此操作。

希望对您有所帮助！！！..