【问题标题】:Dataflow job throws error when publishing to Pub/Sub topic发布到 Pub/Sub 主题时,数据流作业引发错误
【发布时间】:2021-05-31 14:09:23
【问题描述】:

我有流式数据流作业,将输出数据发送到发布/订阅主题。但随机作业日志会抛出错误:

There were errors attempting to publish to topic projects/my_project/topics/my_topics. Recent publish calls completed successfully: 574, recent publish calls completed with error: 1.

数据流没有提供堆栈跟踪,并且从作业指标来看,错误类型是“不可用”。一段时间后,错误将停止,管道仍照常运行。出现此错误是因为 GCP 服务内部错误,还是因为配额问题?输出请求的峰值为 10 req/s。

【问题讨论】:

  • PubsubIO 应该重试失败,因此您可以忽略这些错误。 10 QPS 不超过配额。如果您用完配额,您将在日志中看到有关超出速率限制的错误。该错误可能是由于 PubSub 服务不可用(如您的案例中所列)或超时引起的。

标签: google-cloud-platform google-cloud-dataflow google-cloud-pubsub


【解决方案1】:

发现了类似的问题,通过在IAM权限下将“Pub/Sub Admin”权限添加到Compute Engine默认服务帐户来解决。

【讨论】:

  • 我已经这样做了,但错误仍然随机发生
猜你喜欢
  • 2017-03-26
  • 2021-03-21
  • 2020-12-15
  • 2020-01-03
  • 2022-08-22
  • 2020-11-28
  • 2019-10-03
  • 2022-01-01
  • 1970-01-01
相关资源
最近更新 更多