【问题标题】:DataFlow pipeline: Project has insufficient quotaDataFlow 管道:项目配额不足
【发布时间】:2020-09-28 10:53:58
【问题描述】:

我正在按照这个创建一个数据流管道https://codelabs.developers.google.com/codelabs/modern-data-pipeline-firestore-bigquery-dataflow-templates/index.html#9,但由于我的配额,我的数据流失败了。

我收到此错误消息:“工作流失败。原因:项目 XXXX 没有足够的配额来执行此工作流,在区域 us-central1 中有 1 个实例。配额摘要(必需/可用):1/7 个实例,4 /4 CPU,1230/818 磁盘 GB,0/250 SSD 磁盘 GB,1/99 个实例组,1/49 个托管实例组,1/99 个实例模板,1/3 个正在使用的 IP 地址。请参阅https://cloud.google.com/compute/docs/resource-quotas关于申请更多配额。”

我被 gcs 拒绝增加配额,所以我想我必须通过指定参数来优化我的管道。 我该怎么做?

【问题讨论】:

  • 您要求增加的具体配额是多少?
  • 您可以尝试contacting GCP Support,他们可以为您提供替代方案以及有关配额增加被拒绝的原因的更多信息。

标签: google-cloud-firestore google-cloud-dataflow


【解决方案1】:

您应该限制工人的最大数量,这项工作会持续一段时间才能完成,但您不会达到配额。您可以查看此文档12 了解如何操作,您必须更改以限制自动缩放的值是“maxNumWorkers”。

【讨论】:

    猜你喜欢
    • 2020-01-08
    • 2022-10-06
    • 2021-06-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多