Azure DataFactory 管道超时

Question

目前我们有一个包含超过 20 万条记录的表，因此当我们将数据从源 azure sql 数据库移动到另一个 sql 数据库时，需要花费大量时间，超过 3 小时导致超时错误，最初我们将超时设置为 1小时但是由于超时错误，我们必须将超时间隔增加到 3 小时，但仍然无法正常工作。

这就是我们定义流程的方式。

1. 两个数据集 -> 输入和输出
2. 一个管道 在管道内部，我们有一个类似 select * from table 的查询； 我们有存储过程，它的脚本就像
3. 从表中删除所有记录。
4. Insert 语句插入所有记录。

这很耗时，因此我们决定根据过去 24 小时内的日期列更新并插入任何修改或插入的数据。

那么 azure 管道中是否有任何功能可以检查过去 24 小时内在源 azure sql db 中插入或更新的记录，还是我们需要在目标 sql 存储过程中执行。

Answer 1

在 Azure 数据工厂中，我们有一个选项，比如 writeBatchsize。我们可以设置这个值以间隔刷新数据，而不是刷新每条记录。