数据流工作人员无法连接到数据流服务答案

【问题标题】：Dataflow Workers unable to connect to Dataflow Service数据流工作人员无法连接到数据流服务
【发布时间】：2017-11-15 09:32:24
【问题描述】：

我正在使用 Google Dataprep 启动 Dataflow 作业，但遇到了一些困难。

作为背景，我们使用了 Dataprep 几个星期，在我们开始遇到服务帐户授权问题之前，它可以正常工作。当我们最终解决这个问题时，我们重新启动了之前启动的作业，但它们以“数据流似乎被卡住了”而失败。

我们尝试了另一个非常简单的工作，但遇到了同样的错误。以下是完整的错误消息，作业在卡住一小时后失败：

数据流-

(1ff58651b9d6bab2): Workflow failed. Causes: (1ff58651b9d6b915): The Dataflow appears to be stuck.

数据准备 -

The Dataflow job (ID: 2017-11-15_00_23_23-9997011066491247322) failed. Please 
contact Support and provide the Dataprep Job ID 20825 and the Dataflow Job ID.

似乎这种错误有多种来源，我不知道从哪里开始。提前致谢

【问题讨论】：

正在调查这份工作。到目前为止，工作虚拟机似乎已启动，但从未向服务报告。可能是某种网络配置问题。在 Dataflow 服务端查看它时，您可以查看 stackdriver 上的工作日志（我需要请求额外级别的授权才能查看工作日志）。

标签： google-cloud-dataflow google-cloud-dataprep

【解决方案1】：

请检查您项目的默认网络是否有任何更改。这是工作人员无法联系服务的常见原因，导致 1 小时超时。

更新：

经过进一步调查，“编辑”角色下缺少 Compute Engine 的 <project-number>-compute@developer.gserviceaccount.com 服务帐户。这通常是自动创建的。可能这后来被错误地删除了。请参阅https://cloud.google.com/dataflow/security-and-permissions 中的“Compute Engine 服务帐户”部分。

我们正在努力修复以改进对此类丢失权限的早期检测，以便更好地指出故障的根本原因。

这意味着您的其他 Dataflow 作业也同样失败。

【讨论】：

确实，他们也失败了。到目前为止，我们的测试工作似乎还在工作，感谢您的帮助。
当网络和子网配置未正确完成时，我遇到了类似的问题。工人开始了，但管道卡住了。

【解决方案2】：

最好的方法是联系 Google 支持。该问题与 Dataflow 方面有关，需要 Google 对 Dataflow 后端进行更多研究

【讨论】：