SSIS 将源表转换为插入到同一个目标表中的多个数据流任务

Question

我必须将数据从 informix 数据库迁移到 sql-server 数据库。我正在使用 ssis 包进行该转换。 Informix 数据库有包含数百万条记录的表。因此，当我执行进行转换的 ssis 包时，需要数小时才能完成。

我读到了可以同时执行多个任务的并行方式，它以某种方式减少了我的时间。

但真正的挑战是，如果我必须迁移一个包含 5000 万条记录的表，那么只有一个数据流可以转换它。所以并行性对我没有帮助。

有什么方法可以将源表拆分为多个数据流任务，将数据插入到同一个目标表中。

任何想法/建议都会有所帮助。

感谢您的宝贵时间。

Answer 1

您可以使用Balanced Data Distributor转换balanced-data-distributor-transformation 以提高您的打包速度，但此组件取决于您的服务器资源。

或者您可以将要迁移的表拆分为多个源组件，并为每个源创建一个在 where 子句（如日期）上具有增量负载的查询，然后使用 UNION ALL 组件来组合所有来源。