【问题标题】:Triggering an alert when multiple dataflow jobs run in parallel in GCP当多个数据流作业在 GCP 中并行运行时触发警报
【发布时间】:2022-09-28 21:16:03
【问题描述】:

我正在使用谷歌云数据流来执行一些资源密集型数据流作业。在给定时间,我的系统必须并行执行不超过 2 个作业。

由于每个作业都占用大量资源,因此我正在寻找一种在运行超过 2 个数据流作业时触发警报的方法。

我尝试实现一个 custom_count,它在每个作业开始后递增。但 custom_couter 仅在作业执行后显示。到那时触发警报可能为时已晚。

  • 首先如何触发您的数据流作业?
  • 我正在使用 cron 作业触发它们。

标签: google-cloud-platform google-cloud-dataflow gcp-alerts


【解决方案1】:

您可以将项目的配额 dataflow.googleapis.com/job_count 修改为限制为 1,并且该项目中没有两个作业可以并行运行。配额是项目级别的,不会影响其他项目。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-11-20
    • 1970-01-01
    • 2021-01-01
    • 1970-01-01
    • 2017-07-13
    • 1970-01-01
    • 2021-10-17
    相关资源
    最近更新 更多