如何在有/没有数据流的情况下同步 Bigquery 和 Oracle 数据库？答案

【问题标题】：How to synchronize Bigquery and Oracle Database with/without Dataflow?如何在有/没有数据流的情况下同步 Bigquery 和 Oracle 数据库？
【发布时间】：2020-03-24 22:18:20
【问题描述】：

我尝试使用数据流template。

我意识到这是一个批处理而不是流。此模板不会使 Bigquery 与 Oracle 数据库同步，而只是复制数据并粘贴。

我尝试定期运行相同的作业，但重复的数据被添加到 Bigquery。我看到了一些第三方解决方案，但我想尽可能多地使用第一方解决方案。

是否可以让 Bigquery 与 oracle 数据库同步？

【问题讨论】：

我会调查并确认这是否可行。通过随着时间的推移定期处理数据窗口，可以修改此处的模板以使用流模式。 github.com/GoogleCloudPlatform/DataflowTemplates/blob/master/… 如果无法以这种方式创建模板，您可以改为从代码运行流式管道，并让流式管道运行

标签： jdbc oracle11g google-bigquery google-cloud-dataflow

【解决方案1】：

我认为您需要的是从 Oracle 数据库读取更改的源。不幸的是，当前的 Beam JDBC 源无法满足此目的，因此您可能必须为此开发新的源。

【讨论】：