从 Oracle 增量获取答案

【问题标题】：Incremental fetch from Oracle从 Oracle 增量获取
【发布时间】：2019-07-22 10:36:01
【问题描述】：

有什么方法可以使用 JDBC 使用用户定义的查询从 Oracle 数据库中获取增量数据？

我们可以使用 Spark、Kafka 或普通 JDBC。

它应该能够支持重载的唯一东西。

【问题讨论】：

你的问题太宽泛了。是的，如果您设计一个带有某种loaded_time 列的表，则可以使用 JDBC 来完成。
您可以使用 CDN(Continuous Query Notification) docs.oracle.com/en/database/oracle/oracle-database/12.2/odpnt/… 。但这项技术有一些局限性。然后，您可以使用 Shareplex 或 GoldenGate 从 Oracle redolog 中挖掘数据并将它们传输到 Kafka 流中。但这些产品是单独授权的。
大多数 SQL 数据库建议为表创建主键。主键是唯一的。我建议您检查序列、主键和选择查询。
问题不清楚。请尝试详细解释，即到目前为止您做了什么？

【解决方案1】：

您尚未指定目的地。如果它是 Kafka 主题，那么使用 Apache Kafka 进行提取也很有意义，使用 Kafka Connect。

在这种情况下，您可以使用Kafka Connect JDBC connector 来执行此操作。有关在自定义查询中使用增量模式的详细信息，请参阅 here。

++编辑++

如果您的最终目标是 BigQuery，那么您也可以通过适当的 BigQuery connector 使用 Kafka Connect。您可以在here 看到它的一个示例。

【讨论】：