【发布时间】:2019-11-22 12:42:09
【问题描述】:
我有一个我在 ADF 中使用的数据块活动,我想在进一步的活动中获得运行输出,就像我在数据块中使用一个文件来从列中获取所有天数,现在我想将这些天作为数据工厂参数的输出,以便我可以在预复制脚本中使用这些天作为参数来删除特定日期的数据。
【问题讨论】:
标签: azure-data-factory azure-data-factory-2 azure-databricks
我有一个我在 ADF 中使用的数据块活动,我想在进一步的活动中获得运行输出,就像我在数据块中使用一个文件来从列中获取所有天数,现在我想将这些天作为数据工厂参数的输出,以便我可以在预复制脚本中使用这些天作为参数来删除特定日期的数据。
【问题讨论】:
标签: azure-data-factory azure-data-factory-2 azure-databricks
如果您要传递的参数很小,您可以使用:dbutils.notebook.exit("returnValue")(参见此link)。
对于更大的输入集,我会将来自 Databricks 的输入值写入一个文件,并在 ADF 中的不同值上迭代 (ForEach)。
【讨论】:
另一种选择是将日期列表作为 json 字符串返回,然后使用它,例如:
import json
dates = ['2017-12-11', '2017-12-10', '2017-12-09', '2017-12-08', '2017-12-07']
return_json = json.dumps(dates)
dbutils.notebook.exit(return_json)
然后您可以使用foreach Activity 对输出进行操作,或者使用Append Variable 或 Set Variable 活动进行额外处理
希望对你有帮助
【讨论】: