【问题标题】:Wanted to get output of databricks activity in the ADF pipeline so that I can use those output parameter in further ADF Activity想要在 ADF 管道中获取数据块活动的输出,以便我可以在进一步的 ADF 活动中使用这些输出参数
【发布时间】:2019-11-22 12:42:09
【问题描述】:

我有一个我在 ADF 中使用的数据块活动,我想在进一步的活动中获得运行输出,就像我在数据块中使用一个文件来从列中获取所有天数,现在我想将这些天作为数据工厂参数的输出,以便我可以在预复制脚本中使用这些天作为参数来删除特定日期的数据。

【问题讨论】:

    标签: azure-data-factory azure-data-factory-2 azure-databricks


    【解决方案1】:

    如果您要传递的参数很小,您可以使用:dbutils.notebook.exit("returnValue")(参见此link)。

    对于更大的输入集,我会将来自 Databricks 的输入值写入一个文件,并在 ADF 中的不同值上迭代 (ForEach)。

    【讨论】:

      【解决方案2】:

      另一种选择是将日期列表作为 json 字符串返回,然后使用它,例如:

      import json
      
      dates = ['2017-12-11', '2017-12-10', '2017-12-09', '2017-12-08', '2017-12-07']
      return_json = json.dumps(dates)
      
      dbutils.notebook.exit(return_json)
      

      然后您可以使用foreach Activity 对输出进行操作,或者使用Append Variable Set Variable 活动进行额外处理

      希望对你有帮助

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2021-10-07
        • 1970-01-01
        • 2021-09-16
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-10-25
        • 2023-01-12
        相关资源
        最近更新 更多