用于 DataFlow 和 DataPrep 的 ZONE_RESOURCE_POOL_EXHAUSTED答案

【问题标题】：ZONE_RESOURCE_POOL_EXHAUSTED for DataFlow & DataPrep用于 DataFlow 和 DataPrep 的 ZONE_RESOURCE_POOL_EXHAUSTED
【发布时间】：2018-11-10 02:46:35
【问题描述】：

好的团队...Dataprep 遇到 BigQuery。我一生都无法找出过去 5 小时内出现 ZONE_RESOURCE_POOL_EXHAUSTED 问题的原因。前一天晚上，一切都很顺利，但今天，我遇到了一些严重的问题。

谁能提供有关如何更改与 Dataprep 相关的 Dataflow 作业的资源池的任何见解？我什至无法进行基本的列转换。

期待任何人帮助我解决这个问题，因为老实说，这个问题是其中之一“只要改变这个，也许这会解决它，如果没有，也许几个星期就可以了”。

这里是截图中的问题：https://i.stack.imgur.com/Qi4Dg.png

更新：

我相信我的一些问题可能与 GCP Compute incident 18012 相关，尤其是因为它是基于我们中心的实例创建问题。

【问题讨论】：

我遇到了同样的问题。 Dataprep 中的错误：Dataflow 的工作人员不足 Dataflow 无法部署足够的工作人员来运行您的工作。在重新运行之前，请验证您的配额或联系您的项目管理员。我在 2018 年 11 月 9 日上午 11:51:44 成功运行了相同的流程，相同的配方在：2018 年 11 月 9 日下午 6:00:28 失败了
数据流日志错误消息：在区域 us-central1-b 中启动工作程序池未能启动任何所需的 1 个工作程序。 ZONE_RESOURCE_POOL_EXHAUSTED：区域“projects/fake-project/zones/us-central1-b”没有足够的资源来满足请求。尝试其他区域，或稍后再试。
在开始作业时使用 --region 或 --zone 标志。 cloud.google.com/dataflow/pipelines/specifying-exec-params
您还需要找到在数据流上运行的模板 - 请参阅此处的说明：cloud.google.com/dataprep/docs/html/…
看来中断已经修复。感谢所有参与的人！

标签： google-cloud-platform dataflow google-cloud-dataprep

【解决方案1】：

您提到的incident 实际上已在 11 月 5 日解决，仅影响 us-central1-a 区域。看到您的问题是在 11 月 10 日发布的，并且 cmets 中的其他用户在 us-central1-b 区域中收到错误，该错误与您链接的事件无关。

正如错误消息所示，这是一个resource availability 问题。这些情况很少见，通常会很快得到解决。如果将来发生这种情况，在其他区域/地区使用 Compute Engine 实例将解决该问题。要使用 Dataprep 执行此操作，如评论中所述，在从 Dataprep 启动作业后，您可以在指定要在其中运行作业的区域/区域时从 Dataflow 重新运行作业。

【讨论】：