【问题标题】:Netflix conductor HTTP tasks stuck on scheduled state for a long timeNetflix 指挥 HTTP 任务长时间停留在预定状态
【发布时间】:2022-08-24 03:44:31
【问题描述】:

我们在 GCP 上部署了 Netflix 指挥,具有强大的 Postgres 持久化存储。

每当超过 3k 个工作流开始并行执行时(每个工作流有 4 个 HTTP 任务), HTTP 任务开始执行所需的时间越来越长。

它只是停留在预定状态,可能会在较高负载下停留很长时间。

我们检查了指挥服务器和 Postgres 数据库的工作负载指标,它们远未达到资源限制。

我们曾考虑为这些 HTTP 任务使用隔离任务,但这并没有什么好处,因为执行的所有任务中有 80% 是我们不希望被卡在计划中的这些 HTTP 任务。

为了解决 HTTP 任务卡在计划状态的问题,我应该更改哪些配置\\设置\\设置?

谢谢

    标签: netflix-conductor


    【解决方案1】:

    您的一些 HTTP 任务是较长的任务吗?这些任务可能正在使用您所有可用的工作人员,将一些更快的任务放入队列中。

    您可以考虑为这些较长的 HTTPS 任务设置隔离组,以便快速任务可以通过常规 HTTP 工作程序运行:

    https://conductor.netflix.com/configuration/isolationgroups.html

    【讨论】:

      猜你喜欢
      • 2020-11-19
      • 1970-01-01
      • 2022-10-06
      • 2014-03-13
      • 2019-08-11
      • 1970-01-01
      • 1970-01-01
      • 2012-10-15
      • 1970-01-01
      相关资源
      最近更新 更多