【问题标题】:How to handle failures in parallel copy activities in ADF v2?如何处理 ADF v2 中并行复制活动的失败?
【发布时间】:2019-12-18 19:32:22
【问题描述】:

我计划遍历连接字符串列表,以将数据从一个源并行插入到多个接收器。因此,我将在此处抽象复制活动并参数化连接字符串值。然后主管道将遍历连接字符串并将值传递给抽象的复制活动。

场景:其中一项并行复制活动失败。个别故障如何处理?

  • 选项 1:中止所有并行管道以维持我的 沉入一致的状态。这可以在 Azure 数据中执行吗 工厂?

  • 选项 2:如果我选择让其他管道写入数据 到水槽,我必须手动处理失败的切片吗?我是 在此处为主管道选择翻转窗口触发器。

请帮助我弄清楚如何以最好的方式处理它。

【问题讨论】:

    标签: azure azure-data-factory azure-data-factory-2


    【解决方案1】:

    最佳做法是让您的活动在单独的管道中的 foreach 循环中,然后在您的 foreach 中调用执行管道活动。 这样,每次执行都将被单独处理,并且在监控视图中,您将清楚地了解哪个执行失败。

    【讨论】:

    • 那么,如果单独管道的迭代之一失败,我的外部管道/主管道会认为这个 foreach 活动失败吗?另外,如果有一个自相关的翻转窗口触发器触发了整个管道,它会认为我的 foreach 活动失败而不触发下一个窗口吗?感谢您的回复!
    • 嗨,是的,它会认为您的 foreach 活动在执行结束时失败(因此它将执行所有迭代)。因此,您可以将 foreach 之后的下一个活动配置为在完成时执行(而不是在成功时),然后您的主(外部)管道不会失败,因为它将触发下一个窗口。此外,如果您在 foreach 之后没有任何活动,则可以放置例如等待活动来处理此问题。
    猜你喜欢
    • 2019-05-12
    • 2020-12-01
    • 2021-06-20
    • 2019-06-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-06-25
    相关资源
    最近更新 更多