在数据处理之间会发生什么 sqoop 失败

Question

当 Sqoop 导入作业在将数据导入 RDBMS-HDFS 时失败时会发生什么情况？反之亦然？

Answer 1

Sqoop 可以使用并行数据传输任务将数据从HDFS 导出到RDBMS。每个任务都会打开一个到数据库的连接，通过事务插入数据库，并定期提交。这意味着在整个导出作业完成之前，部分数据将在数据库中可用。

如果导出地图任务在多次重试后仍失败，则整个作业将失败。任务失败的原因可能包括网络连接问题、数据库完整性约束、HDFS 上的格式错误的记录、集群容量问题等。在这种失败情况下，已经提交的数据仍将在数据库中可用。