【问题标题】:Cloud Dataflow job scaling beyond max worker valueCloud Dataflow 作业扩展超出最大工作人员价值
【发布时间】:2016-01-14 13:18:26
【问题描述】:

数据流作业 ID:2016-01-13_16_00_09-15016519893798477319

Pipeline 配置了以下 worker/scaling 配置:

  • 最少 2 名工人
  • 最多 50 名工人

但是,这项工作扩大到 55 名工人。为什么 50 的最大工人价值没有兑现?

Jan 14, 2016, 11:00:10 AM
(77f7e53b4884ba02): Autoscaling: Enabled for job 2016-01-13_16_00_09-15016519893798477319 between 1 and 1000000 worker processes.

Jan 14, 2016, 11:00:17 AM
(374d4f69f65e2506): Worker configuration: n1-standard-1 in us-central1-a.

Jan 14, 2016, 11:00:18 AM
(28acda8454e90ad2): Starting 2 workers...

Jan 14, 2016, 11:01:49 AM
(cf611e5d4ce4784d): Autoscaling: Resizing worker pool from 2 to 50.

Jan 14, 2016, 11:06:20 AM
(36c68efd7f1743cf): Autoscaling: Resizing worker pool from 50 to 55.

【问题讨论】:

  • 在该作业的作业配置中,我看到 NumWorkers=2 和 MaxNumWorkers=0,这将导致没有限制(超出 GCE 配额)。你是如何设置最大值的?
  • 谢谢@danielm。这是我们这边的一个错误。

标签: google-cloud-dataflow


【解决方案1】:

这原来是我们代码中的一个错误。我们调用了错误的方法。我们需要打电话给setMaxNumWorkers,而不是setNumWorkers

【讨论】:

    猜你喜欢
    • 2017-02-01
    • 2018-12-09
    • 1970-01-01
    • 2019-05-06
    • 1970-01-01
    • 1970-01-01
    • 2017-04-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多