我正在尝试从 azure 数据湖存储复制数据，执行一些处理并使用 azure 数据工厂将其移动到同一数据湖中的不同文件夹中。源数据按年、月和日期组织。我只想每天复制最新的文件并不断替换它。如何使用 ADF 执行此操作？我看到了一些关于使用切片开始和结束日期的答案，但这仍然意味着在 JSON 文件中给出日期。如何自动更改这些日期？
【问题讨论】：
标签： azure copy azure-data-lake azure-data-factory-2
假设您使用的是 ADFv2。
我看到了一些关于使用切片开始和结束日期的答案，但是 仍然意味着在 JSON 文件中给出日期。我该如何改变 这些日期是自动的吗？
那就是要走的路，它是自动的。您不必在管道中提供日期。您将日期参数化并将管道附加到 翻转窗口触发器 并使用触发器系统变量 @trigger().outputs.windowStartTime。所以现在触发器会给出日期。
然后您可以安排每 24 小时触发一次，以便您的翻转窗口触发器将通过 @trigger().outputs.windowStartTime 例如2019/02/13（您可以根据需要根据数据湖结构格式化日期 - ADF 中可用的格式选项）到管道活动并要求活动从 azuredatalake/2019/02/13/file.txt 读取
关注此doc 以获得想法。
【讨论】：