【问题标题】:Event based trigger in azure data factory天蓝色数据工厂中基于事件的触发器
【发布时间】:2021-03-29 08:37:27
【问题描述】:

对于以下情况,左侧是我的来源,右侧是目的地:

Source                                                   Destination
----------                                               -----------------
sourceContainer/StaticFiles/Finance/X1.tsv               DestinationContainer/StaticFiles/Finance/X1.tsv
sourceContainer/StaticFiles/Customer/X2.tsv              DestinationContainer/StaticFiles/Customer/X2.tsv

我想一次将文件放置在任何源位置,它应该触发复制管道以动态创建目标路径。 我在管道中使用了一个复制活动,我为财务和客户等每个创建触发器。

我参考了下面的链接,但没有运气 https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger

【问题讨论】:

  • “没有运气”不够清楚,您能分享一下您尝试过的内容和结果吗?

标签: azure azure-data-factory


【解决方案1】:

我们需要使用 Get Metadata 和 ForEach 活动来实现这一点。我创建了一个简单的测试来复制文件并为目标动态创建路径。

  1. 首先,我们需要添加一个事件触发器。指定您的容器和路径。

  2. 声明容器的数据集。

  3. 在 Get Metadata1 处,选择先前声明的数据集,然后选择子项。

  4. 在 ForEach1 活动中,将动态内容 @activity('Get Metadata1').output.childItems 添加到 Items

  5. 在 ForEach1 活动中,我们可以定义一个 Copy 活动。选择通配符文件路径并将StaticFiles 添加到路径中。

  6. 在接收器选项卡中,我们为目标容器创建一个数据集。 这里是output。然后添加动态内容并输入 @item().name 。它将为目的地动态创建路径。

调试:
当我将文件上传到 StaticFiles/finance 文件夹时触发了管道。 我们可以看到它为目的地动态创建了路径。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-03-28
    • 1970-01-01
    • 2021-05-24
    • 2020-03-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多