ResourceExhausted：429 配额指标 Natural Language API 通过 Dataflow 使用 Python SDK 超出配额

Question

我正在构建 Dataflow 管道以读取 CSV，通过 Google Cloud NLP API 执行情感分析并将结果发送到 BigQuery。

当执行情感分析的函数获取 pcollection 时，我会出现上述错误。

我正在考虑将 Pcollection 拆分为小的 Pcollection，以便处理 NLP API 中的引用限制。

(p
       | 'ReadData' >> beam.io.textio.ReadFromText(src_path)
       | 'ParseCSV' >> beam.ParDo(Analysis())
       | 'WriteToBigQuery' >> ...
)

Answer 1

我假设您已默认启用自动缩放功能。尝试将其关闭，然后将工作计数限制设置为 5 之类的小值。这将为处理捆绑包的底层工作线程的数量提供上限。从那里您可以尝试使用实例类型（内核数量）以最大化您的吞吐量。

默认限制是每分钟 600 个请求，这非常低。您还可以请求增加 NLP 的配额。我的建议是做固定池来节流，然后增加配额以拨入你的挂钟时间目标。