每天从 Oracle 刷新具有 1500 万条记录的 SQL Server 表的最有效方法是什么？

Question

我在 SQL 2012 中使用 LinkedServer，并每天使用以下过程从 Oracle 9G 刷新表。表中的当前记录为15M，每天增加2-3K新记录，旧记录也在随机删除和更新。一夜之间完成这项工作需要 7-8 小时。考虑到该表已经在 Oracle 端的索引级别上进行了优化，尝试此操作的最有效方法是什么？ 我目前的流程如下：

Truncate table SQLTable
Select * into SQLTable from openquery (LinkedServerName,'Select * from OracleTable')

Answer 1

仅针对 3000-8000 行更改截断 15M 行是没有意义的。

我会考虑使用像 https://sourceforge.net/projects/pentaho/ 这样的 ETL 工具。您可以从免费的社区版开始。

这个工具提供了一个 Spoon 工具，它基本上提供了图形界面来创建工作流。使用平移工具，您可以执行使用勺子工具创建的文件。基本上使用 Pan 命令创建一个批处理文件并提供 .ktr 文件作为参数。现在，您可以使用 Windows 任务管理器或 Unix CRON 作业来安排这个批处理文件。

这样，您可以创建一个工作流，该工作流可以查找更改并仅插入或更新更改。