【问题标题】:Azure Data Factory - different copy data mappings views in the same pipeline?Azure 数据工厂 - 同一管道中的不同副本数据映射视图?
【发布时间】:2021-04-23 23:54:20
【问题描述】:

我正在尝试在 Azure 数据工厂中设置具有复制数据活动的管道,但我对复制活动中不同的映射视图感到困惑。我已经从模板“将数据从本地 SQL Server 复制到 SQL Azure”创建了管道,并且我正在克隆该活动,因此不应该有任何差异。两个活动的源是相同的,我对源数据库使用查询。

我是这样看的:

原件复制活动:

克隆副本活动:

我想了解为什么我会看到不同的映射视图。

提前致谢!

【问题讨论】:

  • 源可能相同,但如果接收器不同,则映射将不同。请张贴每个复制活动的接收器选项卡的屏幕截图。
  • 嗨@Ruslan,如果我的回答对你有帮助,希望你能接受它作为答案(点击答案旁边的复选标记,将其从灰色切换为填充。)。这对其他社区成员可能是有益的。谢谢。
  • @JeffRamos 是的,从表的角度来看,接收器是不同的,但目标数据库是相同的。我已经弄清楚了 - 我正在使用包含“count(*)”聚合的查询。删除它和“group by”子句使映射视图与原始复制活动相同。
  • 嗨@Ruslan,您还有其他顾虑吗?

标签: azure azure-data-factory


【解决方案1】:

我不认为这是个问题。当我们克隆一个活动副本时,在我们调试或运行管道之前,我们需要手动检查所有设置。

从您的屏幕截图中可以看出,原始副本活动在映射期间错过了源架构。只需导入架构即可解决。

克隆的副本活动接缝会自动导入架构。不确定是否所有列都已映射(我认为不是)。一些建议:

  1. 请先导入源数据集中的架构,并完整设置 一份有效。
  2. 然后克隆副本活动可以避免该问题。

数据工厂可能不是很聪明,即使我们克隆活动,我们仍然应该检查每个活动中的所有设置。

更新:

就像@JeffRamos 所说,接收器不同,那么映射就会不同。

我们很高兴得知您已经想通了:

  • “我已经弄清楚了 - 我使用的查询包含 “计数(*)”聚合。删除它和“group by”子句使 映射视图与原始复制活动相同。”

再次感谢@JeffRamos 的有用评论。

HTH。

【讨论】:

  • 感谢 Leon 的建议,我自己搞定了,请查看我上面的评论以回复 Jeff 的评论。
  • 嗨@Ruslan,谢谢!我很高兴听到你已经弄清楚了。我只是将它们添加到我的回答中,并感谢 JeffRamos。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2019-01-17
  • 2020-04-14
  • 1970-01-01
  • 2018-12-23
  • 2019-10-24
  • 2020-11-30
  • 1970-01-01
相关资源
最近更新 更多