【发布时间】:2018-04-17 11:30:00
【问题描述】:
我有 Oracle 数据库,其中 200 个表中有近 300 个表没有任何主键,很少有表具有复合主键。我的要求是以增量方式将所有表数据导入HDFS。您能否让我知道如何使用 Sqoop 实现这一点。如果建议任何其他选项,那将是非常有帮助的。
【问题讨论】:
-
请详细说明您尝试了什么,以及您卡在哪里。
-
对于具有单个主键的表,我可以使用带有增量选项的 Sqoop 导入来导入数据。我在为没有任何主键并且它们没有任何时间戳列的表进行增量导入时被卡住了。
-
您有什么方法可以识别“新”行吗?您是否尝试过使用这些知识?
-
只有行数被改变,新行被追加到最后。据我了解,没有办法识别新行
-
我们可以使用Oracle ROWNUM 函数来识别新插入的行而不是更新的行。