【问题标题】:Azure Data Factory Tasks Queued排队的 Azure 数据工厂任务
【发布时间】:2021-12-07 16:38:16
【问题描述】:

我创建了一个新的 ADF 管道,它运行良好,但让我对性能有些担忧。

作为示例 - 这是管道中的一个任务,它将一个小 blob 从一个容器复制到同一存储帐户中的另一个容器:

请注意,它已排队 58 秒。

管道使用“托管虚拟网络”集成运行时,因为它使用 Azure SQL 专用终结点。

您知道为什么复制数据任务会在“排队”中保留这么长时间吗?

【问题讨论】:

    标签: azure-data-factory


    【解决方案1】:

    正如您提到的,您的管道使用“托管虚拟网络”集成运行时,因此,根据Activity execution time using managed virtual network

    根据设计,托管虚拟网络中的 Azure 集成运行时需要 比全球 Azure 集成运行时更长的排队时间,因为我们不是 每个数据工厂保留一个计算节点,因此需要预热 每个活动都开始,它主要发生在虚拟网络上 加入而不是 Azure 集成运行时。对于非复制活动 包括管道活动和外部活动,有 60 首次触发它们时的生存时间 (TTL)。 在 TTL 内,排队时间更短,因为节点已经 热身。

    “托管虚拟网络”IR 中还提供了 60 分钟生存时间(TTL)功能,这可以缩短排队时间,因为节点已经预热,但是 不幸的是,复制活动不支持 TTL还没有。

    【讨论】:

    • 感谢您的回答 - 我想确定我所做的事情不会导致它变得如此缓慢。
    • 我的管道使用多个复制数据任务来简单地在存储帐户容器之间复制小型文本文件。这意味着每个管道运行需要超过 5 分钟!您知道是否有更好的方法可以在管道中实现相同的功能?
    • 另外,请问复制任务何时支持TTL?
    • 嗨@Rob,我请求您将您的查询作为新问题发布在评论部分,以便社区成员正确解决。
    • 如果您使用 Azure IR 而不是“托管虚拟网络”IR,队列问题将得到解决。不确定 TTL 支持何时可用于复制任务。你可以raise the feature request
    猜你喜欢
    • 1970-01-01
    • 2019-10-31
    • 1970-01-01
    • 2017-08-21
    • 2015-02-21
    • 2011-06-16
    • 1970-01-01
    • 1970-01-01
    • 2022-01-12
    相关资源
    最近更新 更多