【发布时间】:2017-06-30 02:04:19
【问题描述】:
我正在尝试在我的数据流作业中启用自动缩放,如this article 中所述。我通过以下代码设置相关算法来做到这一点:
DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
options.setAutoscalingAlgorithm(AutoscalingAlgorithmType.THROUGHPUT_BASED)
在我设置这个并部署我的工作后,它总是与最大值一起工作。可用的 CPU 数量,即如果我将最大工作人员数设置为 10,那么它会使用所有 10 个 CPU,尽管平均 CPU 使用率约为 50%。这个 THROUGHP_BASED 算法是如何工作的,我在哪里犯了错误?
谢谢。
【问题讨论】:
-
目前尚不清楚您要达到的目标。 100% CPU 利用率?
-
我从 Pub/Sub 订阅中获得了一些事件,有时事件数量会增加,例如周末。因此,我希望我的数据流作业能够自我调整以无延迟地赶上所有事件。在这种情况下,当我手动将工作人员数量设置为 5 时,没有延迟,CPU 使用率约为 90%,这就是为什么运行 10 个 CPU 似乎不合逻辑的原因。
-
似乎完整的目标是 “目标是在最大限度地提高工作人员利用率和吞吐量的同时最大限度地减少积压,并对负载峰值做出快速反应。”。可能是在 90% 的 CPU 使用率下,要处理的数据积压对于数据流来说太大了。所以它选择了更多的机器,使用更轻,所以积压更小。