如何修复运行缓慢的 SSIS 包

Question

我正在尝试将大量数据从 PROD DB 中的一个表插入到存档 DB 中的表中。表具有相同的架构，存档表具有下降的索引和“身份插入”。我只需要插入 Arh DB/Table 中不存在的记录。 我在 SSIS 序列包中使用“执行 SQL 任务”，它的工作速度非常慢（使用 20000 插入批量大小）。我在 10 分钟内插入了 20000 条记录。顺便提一下，我需要插入 48000000 条记录。 SQL Server 是 2016 标准版。 有什么解决办法吗？

SQL 查询是：

SELECT TOP (@InsertBatchSize) s.ID,.....and other columns 
FROM PRODDB.dbo.source_table AS s WITH (NOLOCK) 
    INNER JOIN ArchiveDB.dbo.MissingIDsTable AS t WITH (NOLOCK) 
    ON s.ID = t.ID 
WHERE s.ID not in (SELECT ID 
                   from ArchiveDB..destination_table 
                   WHERE IsUpdated is null ) 

Answer 1

Execute SQL 不适合数据传输。它不能批处理数据，也不能转换它们。这就是 Dataflow 任务的工作。 Dataflow 任务允许使用 firehose 游标读取源数据，并使用最少的日志记录使用批处理批量操作将它们写入数据目标。它的速度取决于源查询。慢查询会导致执行慢。

这个问题缺少很多信息，比如源数据库和目标数据库中的表模式。从"Identity insert on" 我怀疑这些表有一个 ID 列，它是源中的一个 IDENTITY 和主键。如果你只关心新记录，你可以编写一个只读取自上次执行以来的数据的源查询，例如：

SELECT s.ID,.....and other columns 
FROM PRODDB.dbo.source_table AS s
where ID>@maxId

其中@maxId 是提供给源查询的查询参数。不需要批处理，SSIS 可以根据数据源、批处理大小的目标设置等来完成。

这个查询应该只用于加载新数据。要制作初始副本，请使用不同的数据流，其源查询不会过滤任何内容。使用 Where ID>-1 之类的东西会返回所有数据，但只有在扫描整个索引之后才会返回。当我们已经要复制所有数据时，为什么要这样做？

ID 也应该是 target 表中的主键。这将加速加载参数值的select MAX(ID) from target 操作。它还将检测和防止不可避免的重复错误。无论我们多么小心，其他人总是会犯错误，从而导致重复数据。

您可以通过在插入前禁用索引并在导入操作后重新启用它来提高导入性能。

这只是检测更改和复制数据的一种方式。另一种技术是在源表中启用Change Tracking 并检索自上次作业运行以来修改的行。

您还可以将修改后的数据复制到临时表中，并将 与目标连接到 INSERT/UPDATE 更改。 ID 或更改跟踪可用于查找修改的数据。这样做的好处是可以快速释放源代码。

Answer 2

任务 - 数据库之间的数据传输，目标数据库位于 SQL 2016 服务器上。
我会推荐以下方法：

1. 在 ArchDB 表中创建用于分段加载。最好在单独的模式中创建它并使用与原始表相同的名称，只是为了管理和可读性。

2. 使用以下步骤创建 SSIS 包：

   • 在 Exec SQL 任务中清理必要的临时表
   • 数据流任务 - 将所有数据从源移动到 ArchDB 中的临时表。在数据流上——基于 ArchDB 目标表定义一个全缓存的 Lookup 组件；该组件将检查 ArchDB 中是否存在记录。只拾取错过的记录。
   • 将数据从 Arch DB 中的暂存表移动到目标表，如

   INSERT INTO WITH (TABLOCK) SELECT ... FROM

评论：

• DFT 中的查找组件用于过滤掉现有记录。由于您在 ArchDB 目标表上没有任何索引，因此您必须使用完全缓存，但会占用大量内存。
• INSERT WITH (TABLOCK) constriction 用于利用 SQL 2016 的并行插入功能。
• 您可以不使用临时表并直接插入到目标表中。但是，调试会更加困难。