Azure 数据工厂：处理以前的日期数据

Question

我一直在尝试找到一种方法来动态设置管道的start 和end 属性。这样做的原因是在管道执行当天前 5 天处理时间序列的文件。

我尝试在管道 JSON 中设置它：

"start": "Date.AddDays(SliceStart, -5)"
"start": "Date.AddDays(SliceEnd, -5)"

当通过 VS2015 发布时，我收到以下错误：

Unable to convert 'Date.AddDays(SliceEnd, -5)' to a DateTime value. 
Please use ISO8601 DateTime format such as \"2014-10-01T13:00:00Z\" 
for UTC time, or \"2014-10-01T05:00:00-8:00\" for Pacific Standard 
Time. If the timezone designator is omitted, the system will consider 
it denotes UTC time by default. Hence, \"2014-10-01\" will be 
converted to \"2014-10-01T00:00:00Z\" automatically..
","code":"InputIsMalformedDetailed"

还有什么其他方法可以做到这一点？

Answer 1

而不是尝试在管道级别动态设置它，这是行不通的。当您针对数据集和活动提供时间片时，您需要处理它。

在数据集的 availability 块内和活动的 scheduler 块内使用名为 Offset 的 JSON 属性。

这将使用由间隔和频率配置的时间片起始值，并将其偏移给定值，以天/小时/分钟等为单位。

例如（在数据集中）：

// etc....
},
"availability": {
  "frequency": "Day",
  "interval": 1,
  "style": "StartOfInterval",
  "offset": "-5.00:00:00" //minus 5 days
}
//etc....

您需要在这两个地方进行配置，否则活动将在部署时验证失败。

查看这篇 Microsoft 文章，详细了解可用于配置更复杂时间片场景的所有属性。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-create-pipelines

希望这会有所帮助。