在 Azure 数据工厂中编排管道答案

【问题标题】：Orchestrating Pipelines in Azure Data Factory在 Azure 数据工厂中编排管道
【发布时间】：2021-04-05 10:00:13
【问题描述】：

我需要 ADF（非 Devops）编排方面的帮助。我正在提供用数字表示的 ADF 活动的流程

SAP表--->原始区域---->准备区域----->信任区域------->sFTP

        1              2                 3                   4

Kafka 摄取（由 ADF 运行）

Databrick jar（由 ADF 运行）

ADF 复印活动

需要完成以下任务

在受信任区域生成文件后，同步过程会将文件复制到 sFTP 位置。

要将文件复制到 sFTP，它将获取所有 .ctl 文件（触发器/控制文件）并与 JOB_CONTROL 表中标记为已处理的内容进行比较。复制之前未处理/复制的新文件。

复制程序应轮询 .ctl 文件并执行以下步骤

一个。复制与ctl文件相同的csv文件。

b.复制ctl文件

c。使用文件已成功处理的文件类型在 JOB_CONTROL 中插入/更新记录。如果成功，则不会考虑下次运行该文件。

d。如果发生错误，它应该标记相应的状态标志，以便下次运行时也考虑相同的文件

请帮助我实现这一目标。

问候， SK

【问题讨论】：

【解决方案1】：

这是我对这个问题的理解，您正在记录复制到表中的文件，并且打算启动失败文件的副本。我认为您可以使用查找活动来读取失败的文件，然后将其传递给 foreach(FE) 循环。在 FE 循环中，您可以添加复制活动（您必须对数据集进行参数化）。高温

【讨论】：