【问题标题】:Paginate REST API call in Data Factory在数据工厂中对 REST API 调用进行分页
【发布时间】:2021-03-13 11:51:15
【问题描述】:

我想在数据工厂中调用 ZenDesk REST API, here's how the output looks like

next_page 确定 REST API 的下一个 URL 页面

如果我已到达页面末尾,end_of_stream 将返回 false

在数据工厂中,我在管道中设置了一个复制活动,它将数据从 REST JSON 复制到我的 Azure DB,something like this

问题是 ADF 中的分页不支持 Zendesk API 提供的分页类型,从我的研究看来,我需要创建一个直到循环才能使其工作,所以 something like this

我需要知道我该怎么做

  • 根据 REST API 调用的 Copy Activity 输出将变量设置为 true/false
  • 动态设置我的 Copy Activity 的 URL,因此它可以循环遍历 REST API 中的所有页面

谢谢!

【问题讨论】:

    标签: azure rest pagination azure-data-factory azure-data-factory-2


    【解决方案1】:

    根据 REST API 调用的 Copy Activity 输出将变量设置为 true/false

    在设置变量活动的值变量部分,在变量中点击添加动态内容。

    @activity('Copy data1').output.end_of_stream
    

    您可以将 Copy data1 替换为您自己的 Copy Activity Name

    动态设置我的 Copy Activity 的 URL,因此它可以循环遍历 REST API 中的所有页面

    对于您的 REST API 数据集,

    配置以下参数

    相对网址:

    在复制数据活动中:

    第一次复制操作完成后,您应该使用输出的 end_time 值更新变量 start_time

    REST API 的片段输出

    原因是,下一页 url 与带有 start_time 参数的 API 的相对 url 与 REST API(当前页面)输出的 end_time 值相同。

    【讨论】:

    • @Fernan - 如果有帮助,请考虑将其标记为答案:)
    猜你喜欢
    • 2022-01-02
    • 1970-01-01
    • 2022-06-20
    • 2022-08-03
    • 1970-01-01
    • 2022-01-26
    • 1970-01-01
    • 2021-09-12
    • 2020-06-01
    相关资源
    最近更新 更多