【发布时间】：2020-09-04 21:33:33
【问题描述】：
HDFS以复制形式存储数据，当我们使用SQOOP将数据从HDFS移动到RDBMS时，sqoop如何避免将HDFS中的重复数据导出到RDBMS？
【问题讨论】：
【发布时间】：2020-09-04 21:33:33
【问题描述】：
HDFS 在内部处理复制。您通常使用 HDFS 协议/HDFS API 读取文件，然后 hdfs 在内部对此进行管理并仅返回一份数据。
Sqoop 还使用 HDFS API/协议来读取数据。
所以，sqoop 端不需要额外的处理。
【讨论】：