通过 Kingswaysoft 具有大量数据的 SSIS 速度慢且性能差

Question

我们有很多在 CRM 中更新/创建记录的 SSIS 包。

一些实体，如contact、account、customer product（我们的自定义实体，用于保存所有帐户类型），而我们正在迁移 SQL 机器（有 20 个处理器）中面临性能低下和 CPU 高的记录。但通常对于其他自定义实体，我们没有任何缓慢或问题。

为了进行这些操作，我们使用 KingswaySoft 应用程序。

假设我有一个名为 CASA 的 SSIS 包，如果我用 10.000 个数据执行这个包，我可以在不到 1 分钟的时间内完成我的过程。 但是如果我想用 250.000 个数据执行，打包应该在半小时内完成，但几乎需要 1.5 - 2 小时。

我们尝试了下面的组合，但它们都没有对 CPU 产生良好的效果，而且它们几乎都在同一时间产生了效果。

我们不明白为什么在数据较少的情况下一切都可以这么快完成，但无法处理较大的数据。

我们意识到查询发送到 businessprocessflow 的每条记录都可以检查是否存在已识别的业务流程，并且这也使用了大量的 CPU。但是，当您在实体上启用业务流程选项时，就没有办法回头了。

我们在本地使用 CRM。

Thread: 64, Batch: 250, AutoAdjustBufferSize: True, Default Buffer Max Rows: 1.000.000
CPU was 90 percent

Thread: 32, Batch: 250, AutoAdjustBufferSize: True, Default Buffer Max Rows: 1.000.000
CPU was around 90 percent

Thread: 20, Batch: 250, AutoAdjustBufferSize: True, Default Buffer Max Rows: 1.000.000
CPU was around 80 percent

Thread: 40, Batch: 100, AutoAdjustBufferSize: True, Default Buffer Max Rows: 1.000.000
CPU was around 80 percent

Thread: 20, Batch: 250, AutoAdjustBufferSize: False, Default Buffer Max Rows: 400.000,
DefaultBufferSize: 50.000.000
CPU was around 80 percent

有一个名为Engine thread 的选项。默认情况下它设置为 10，我们尝试将其减少到 1,2 没有任何改变。

Answer 1

性能可能取决于许多因素，例如网络延迟、您使用的特定实例、数据量、插件或工作流程等。您可以尝试我们的不同选项，看看是否有帮助，但请注意将取决于您的特定环境和您正在使用的实体，因为这可能因情况而异。我们没有这样的标准说明，但我们当然有一些建议。您可以查看我们的常见问题解答页面以了解更多建议： https://www.kingswaysoft.com/products/ssis-integration-toolkit-for-microsoft-dynamics-365/help-manual/crm/advanced-topics

您还可以启用Fiddler 之类的代理，或使用 CRM 跟踪日志找出瓶颈所在。要使用跟踪日志，您需要在 CRM 服务器端执行此操作。

如果还有什么我们可以帮助您的，请告诉我们，并随时直接与我们的支持团队联系。