【问题标题】:Autoscaling in Google Cloud Dataflow is not working as expectedGoogle Cloud Dataflow 中的自动缩放未按预期工作
【发布时间】:2017-06-30 02:04:19
【问题描述】:

我正在尝试在我的数据流作业中启用自动缩放,如this article 中所述。我通过以下代码设置相关算法来做到这一点:

DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);

options.setAutoscalingAlgorithm(AutoscalingAlgorithmType.THROUGHPUT_BASED)

在我设置这个并部署我的工作后,它总是与最大值一起工作。可用的 CPU 数量,即如果我将最大工作人员数设置为 10,那么它会使用所有 10 个 CPU,尽管平均 CPU 使用率约为 50%。这个 THROUGHP_BASED 算法是如何工作的,我在哪里犯了错误?

谢谢。

【问题讨论】:

  • 目前尚不清楚您要达到的目标。 100% CPU 利用率?
  • 我从 Pub/Sub 订阅中获得了一些事件,有时事件数量会增加,例如周末。因此,我希望我的数据流作业能够自我调整以无延迟地赶上所有事件。在这种情况下,当我手动将工作人员数量设置为 5 时,没有延迟,CPU 使用率约为 90%,这就是为什么运行 10 个 CPU 似乎不合逻辑的原因。
  • 似乎完整的目标是 “目标是在最大限度地提高工作人员利用率和吞吐量的同时最大限度地减少积压,并对负载峰值做出快速反应。”。可能是在 90% 的 CPU 使用率下,要处理的数据积压对于数据流来说太大了。所以它选择了更多的机器,使用更轻,所以积压更小。

标签: google-cloud-dataflow


【解决方案1】:

虽然 Autoscaling 会尝试减少积压和 CPU,但减少积压是优先考虑的。具体值 backlog 很重要,Dataflow 将“backlog in seconds”粗略计算为“backlog/throughput”,并尝试将其保持在 10 秒以下。

在您的情况下,我认为阻止从 10 缩减的原因是有关用于管道执行的永久性磁盘 (PD) 的政策。当最大工作人员数为 10 时,Dataflow 使用 10 个永久性磁盘并尝试随时保持工作人员数量,以使这些磁盘大致平均分布。因此,当管道的最大工作线程数为 10 时,它会尝试缩减到 5 个,而不是 7 或 8 个。此外,它会尝试在缩减到不超过 80% 后保持预计的 CPU。

在您的情况下,这两个因素可能会有效地阻止缩减规模。如果 10 个工作人员的 CPU 利用率为 50%,则 5 个工作人员的预计 CPU 利用率为 100%,因此它不会缩小规模,因为它高于目标 80%。

Google Dataflow 正在开发新的执行引擎,该引擎不依赖于永久性磁盘,并且不受缩减数量的限制。

解决此问题的方法是设置更高的 max_workers,您的管道可能仍保持在 10 或以下。但这会导致 PD 的成本略有增加。

另一个遥远的可能性是,有时即使在升级估计的“积压秒数”之后,即使 CPU 足够,也可能不会保持在 10 秒以下。这可能是由于各种因素(用户代码处理、pubsub 批处理等)造成的。想知道这是否会影响您的管道。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-12-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-08-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多