【发布时间】:2021-05-31 14:09:23
【问题描述】:
我有流式数据流作业,将输出数据发送到发布/订阅主题。但随机作业日志会抛出错误:
There were errors attempting to publish to topic projects/my_project/topics/my_topics. Recent publish calls completed successfully: 574, recent publish calls completed with error: 1.
数据流没有提供堆栈跟踪,并且从作业指标来看,错误类型是“不可用”。一段时间后,错误将停止,管道仍照常运行。出现此错误是因为 GCP 服务内部错误,还是因为配额问题?输出请求的峰值为 10 req/s。
【问题讨论】:
-
PubsubIO 应该重试失败,因此您可以忽略这些错误。 10 QPS 不超过配额。如果您用完配额,您将在日志中看到有关超出速率限制的错误。该错误可能是由于 PubSub 服务不可用(如您的案例中所列)或超时引起的。
标签: google-cloud-platform google-cloud-dataflow google-cloud-pubsub