【问题标题】:Is it possible to store variables in Azure Data Factory pipelines?是否可以在 Azure 数据工厂管道中存储变量?
【发布时间】:2021-06-11 13:18:32
【问题描述】:

在我的 Azure 数据工厂管道中,我想使用一个变量,该变量在每次运行时都会更新,并且每次运行时也会读取该变量。目前,我正在使用数据库来实现这一点。但是,如果 Azure 数据工厂提供了一种存储变量的方法,那就简单多了。那么,我的问题是,Azure 数据工厂中是否有这样的设施?

【问题讨论】:

  • 你的意思是Set Variable activity不能满足你的要求(变量更新逻辑)?
  • @HarrisXu 可以将值传递给下一个管道运行吗?
  • 可以在 PipelineB 中声明一个参数,当在 PipelineA 中执行 PipelineB 时,可以将 PipelineA 变量的值传递给 PipelineB 参数。
  • 我想将该变量用于相同的管道运行。假设管道每 10 分钟运行一次。我希望管道在一次迭代中保留该值,以便可以在下一次迭代中使用。
  • 它们不能跨管道运行在 ADF 中持续存在。如果你真的需要持久化的东西,你将需要将数据写入存储机制,然后在后续管道中读取它。 IMO,@Harris-Xu 推荐了最好的方法。

标签: azure azure-data-factory azure-data-factory-2


【解决方案1】:

正如@Joel Cochran 所说,ADF 不支持在管道运行中持久化变量。我们需要将数据写入存储,例如。数据库或 Azure 存储。使用Lookup Activity 从 blob 存储文件或数据库中获取值。 :)

【讨论】:

  • 是的,这就是我已经在做的事情。但希望 ADF 至少拥有这样的基本设施。
  • 对不起,根据我的经验,现在没有其他办法了。 :(
猜你喜欢
  • 1970-01-01
  • 2019-11-22
  • 1970-01-01
  • 2020-02-24
  • 2019-10-24
  • 1970-01-01
  • 2021-12-07
  • 1970-01-01
  • 2019-06-08
相关资源
最近更新 更多