Google Cloud Dataprep 作业失败并显示错误消息答案

【问题标题】：Google Cloud Dataprep job failing with error messageGoogle Cloud Dataprep 作业失败并显示错误消息
【发布时间】：2020-05-10 03:26:58
【问题描述】：

我有将 GCS 数据传输到 BQ 的简单 Dataprep 作业。直到今天，计划的作业运行良好，但今天两个作业失败，两个作业在花费半个多小时到一小时后成功。我收到的错误消息如下：

java.lang.RuntimeException: Failed to create job with prefix beam_load_clouddataprepcmreportalllobmedia4505510bydataprepadmi_aef678fce2f441eaa9732418fc1a6485_2b57eddf335d0c0b09e3000a805a73d6_00001_00000, reached max retries: 3, last failed job:

我又跑了同样的工作，又花了很长时间但失败了，但这次却有不同的信息：

Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been seen in the last 1h. Please check the worker logs in Stackdriver Logging. You can also get help with Cloud Dataflow at https://cloud.google.com/dataflow/support.

任何可能的原因的指针或方向！此外，感谢您提供数据准备或数据流作业的链接或故障排除提示。

谢谢

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow google-cloud-dataprep

【解决方案1】：

作业卡住的潜在原因可能有很多：暂时性问题、达到某些配额/限制、数据格式/大小发生变化或正在使用的资源存在其他问题。我建议从 Dataflow 端开始故障排除。

以下是一些有用的资源，可以指导您解决最常见的作业错误以及如何解决这些错误：

此外，您可以在 Dataprep 和 Dataflow 的 Google 问题跟踪器中查看该问题之前是否已报告过

您还可以查看 GCP 状态仪表板，以放弃某些服务的普遍问题

Google Cloud Status Dashboard

最后，如果您有 GCP 支持，您可以直接联系支持。如果您没有获得支持，您可以使用问题跟踪器到 create a new issue for Dataprep 并报告您看到的行为。

【讨论】：