【问题标题】:Issue with custom Azure IR自定义 Azure IR 的问题
【发布时间】:2020-10-17 13:59:41
【问题描述】:

让我试着解释一下我的疑问。管理员创建了一个新的 Azure IR:通用、8 个内核、30 分钟的 TTL。

我正在测试的管道有两个数据流:LoadStage_FromFile -> LoadDim_FromStage

我已经使用 AutoResolveIntegrationRuntime 选项执行了它(手动触发模式),结果是我所期望的,每个数据流 5 分钟。

我在两个数据流中都将 Azure IR 更改为新的。但是,第一个的时间长了 2 分钟,第二个的时间长了大约 5 分钟。从理论上讲,我应该看到总时间减少了,尤其是第二份工作。详细信息表明管道是使用 DefaultIntegrationRuntime 执行的(虽然我打算看到自定义 Azure IR 的名称)。

所以,我确定我遗漏了一些东西,但会是什么?有没有办法查看 AutoResolveIntegrationRuntime 的配置:核数、TTL、计算类型?

非常感谢您的帮助。

上次手动触发器执行测试

【问题讨论】:

  • 通过单击“活动名称”旁边的眼镜打开每个数据流活动执行。请注意监控 UX 右上角的集群或计算获取时间。这将告诉您启动集群需要多长时间。
  • 嗨,@MarkKromer 感谢您的回答。有一些东西不能很好地工作,或者我做错了什么。但是最后一个测试(帖子的最后一张图片)显示了一些与理论完全相反的东西:第二个数据流比第一个花费了更多的时间。此外,为什么管道的结果一直显示集成运行时的“DefaultIntegrationRuntime(美国东部)”。再次感谢您的帮助。
  • 一些事情...... 7 分钟的集群采集远远超出了正常范围。您应该为此向 ADF 制作 Azure 票证。在这种情况下,Databricks 集群的形成时间过长。
  • 其次,ADF 显然在您的执行中使用了默认的 IR。这些是调试还是触发的管道执行?为了重复使用相同的 Azure IR 和暖池,您必须在管道活动中显式设置 IR。但是,ADF 仅在流水线触发器运行的活动配置中使用 IR。如果您从 Debug 管道运行它,您将始终使用 IR 进行该调试会话。
  • 感谢@MarkKromer 的回答。我找到了一个帮助我解决这个问题的视频。然而,我一直在做一些测试,我注意到一些事情让我对集成运行时的使用和配置产生了更多的问题。但我将把它放在另一篇文章中,以便只关注一个主题。

标签: azure azure-data-factory azure-integration-runtime


【解决方案1】:

观看此视频后,我解决了这个问题。这是澄清。

Optimize Data Flow Compute Environment in ADF

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-09-27
    • 1970-01-01
    • 1970-01-01
    • 2013-10-03
    • 1970-01-01
    • 1970-01-01
    • 2022-07-25
    相关资源
    最近更新 更多