通过 SSIS 将数据从 Finacle 传输到 sql server 数据库

Question

我正在使用 SSIS 将数据从 Finacle db 传输到我的 sql server db。 我在银行，我们使用 finacle 进行数据存储。现在在我的项目下，我只需要传输客户和帐户信息。但是由于数据量很大，所以需要太多时间...

例如：我在 18 日开始查询从 finacle 获取 3 个区域的数据，并在 19 日完成。然后我在 19 日对另外 3 个区域运行相同的查询。这样我们继续进行:::: ：

最后，我们将运行查询以上传第一天以来的所有新帐户和客户数据。

我的问题是：我不想要重复的数据....即当我一次又一次地从服务器上传数据时，它会导致重复...有什么办法可以检查一下如果数据已经存在于我的目标表中 - 不要再放它，如果它不存在，那么只放它。请帮助我。

Answer 1

将数据导入 SQL Server 上的临时表。然后运行一个存储过程，仅将目标表中不存在的数据从暂存表复制到目标表。

Answer 2

我以前需要这个并做了一些研究。我碰巧在这里找到了这个非常简单可行的解决方案： https://finaclestack.com/questions/how-to-prevent-data-duplication-when-running-an-import-from-tabley-to-tablex-in-finacle/

上面写着：

1.如果tableY的内容不多，那么直接select * from tableY，取出结果的“insert statement”，运行tableX中的语句即可。

2.如果tableY内容多，则使用where子句分批选择。然后获取每个结果的“插入语句”并在 tableX 中运行该语句。