【问题标题】:How to create azure data factory pipeline and trigger it automatically whenever file arrive in SFTP?如何创建 azure 数据工厂管道并在文件到达 SFTP 时自动触发它?
【发布时间】:2020-12-03 11:09:55
【问题描述】:

我正在构建天蓝色数据工厂管道,其中源是 SFTP,目标是天蓝色 blob 存储。 文件可以随时到达,并且每天可以有任意数量的文件进入 SFTP。 每当任何文件到达 SFTP 时,我都必须将文件从 Sftp 复制到 blob 存储。 我知道 ADF 中的事件触发功能,但只有当文件进入 blob 存储时才有可能。 当源与 blob 存储不同时,是否可以实现相同类型的功能,即在到达时复制文件。

【问题讨论】:

  • 没有自动的方法。您需要编写一些东西来监控您的 SFTP 并触发 ADF 管道

标签: azure azure-data-factory-2 azure-data-factory-pipeline


【解决方案1】:

数据工厂无法做到这一点。

有些想法是您可以通过logic app 实现您的目的:

  1. 你可以创建一个SFTP server trigger: When a file is added or modified
  2. 添加操作get a pipeline run 以执行数据工厂 管道:

将新添加的文件名传递给管道并运行管道。

【讨论】:

  • 谢谢莱昂。我会试试这个,看看它是否满足要求。
  • @sam 不客气,很高兴听到这个消息!如果我的回答对您有帮助,请接受它作为答案(单击答案旁边的复选标记,将其从灰色切换为已填充。)。这对其他社区成员可能是有益的。谢谢。
猜你喜欢
  • 1970-01-01
  • 2021-07-15
  • 2020-09-15
  • 2021-12-07
  • 1970-01-01
  • 2021-05-24
  • 2019-12-12
  • 2022-01-06
  • 1970-01-01
相关资源
最近更新 更多