带有偏移量的 Azure 数据工厂分页

Question

我有一个项目场景，要从端点 URL 获取所有用户并将其插入 SQL 表，我正在使用 ADF 管道，但我在分页时遇到了一些问题，我在分页之前使用过，但只有下一页：" someurl" 使用 AbsoluteUrl 但现在我遇到了问题，因为我的响应如下所示，为了获得下一页，我需要执行多个调用，如下所示。

• 我已经尝试过，创建了一个 for-each 循环并使用 range 进行迭代，但它给了我无限循环中第一次调用的重复项，并且不采用接下来的 500 条记录，遵循这里的解决方案示例。

• https://docs.microsoft.com/en-us/answers/questions/468561/azure-data-factory-pagination-issue.html#answer-470345

BaseURL: https://xyz.xyz.com/api/v2/users?take=500 这给了我前 500 个 回应：

> ],
"total": 3059,
"next": 500
}

为了让我获取接下来的 500 行，我需要提出如下请求

• https://xyz.xyz.com/api/v2/users?take=500&skip=500
• https://xyz.xyz.com/api/v2/users?take=500&skip=1000
• https://xyz.xyz.com/api/v2/users?take=500&skip=1500

等等…… 注意跳过在我的情况下作为偏移量，我有 36000 行要获取。

您能给我一些关于如何解决这个问题的建议吗？ 提前谢谢你。

Answer 1

请检查以下解决方案是否有效，

1. 在主管道中定义一个变量，假设偏移值为 0

2. 内部直到活动
   一个。使用以下动态内容进行网络通话 - @concat('https://xyz.xyz.com/api/v2/users?take=500&skip=',variables('offset'))

   b.对数据执行所需的操作 - 例如对 ADLS 的写入响应

   c。使用“设置变量”活动将偏移值增加 500。

3. 在您的直到循环中使用正确的表达式何时退出，有多种方法可以做到这一点，以下是其中一种方法 - 当您在网络呼叫响应中获得零记录时，只需设置一个变量，在您的情况下 - https://xyz.xyz.com/api/v2/users?take=500&skip=36000 在 until 表达式中使用这个变量。