数据流似乎卡住了 3

Question

我在 Dataflow 日志中收到此错误：

(11b55950300ec4ce)：工作流程失败。原因：（11b55950300ec459）： 数据流似乎卡住了。请通过以下方式与 Dataflow 团队联系 http://stackoverflow.com/questions/tagged/google-cloud-dataflow.

JobID 是：2017-11-13_20_58_16-5812097262489045871

我尝试了完全相同的代码，它正在其他项目中运行......

感谢您的帮助，

约苏亚

Answer 1

由于默认网络的区域（在我的情况下为 asia-southeast1）和区域参数（默认值：us-central1-f）不匹配，因此数据流无法生成工作人员。

所以要解决这个问题，我需要在管道参数中显式设置network、subnet 和zone。

注意：我发现这不直观，但可以将 region 设置为 us-central1 并将区域置于 us-central1 之外，因为 region 参数是我们部署作业的位置，zone 是我们生成工作器的位置.

参考：https://cloud.google.com/dataflow/pipelines/specifying-exec-params