【发布时间】：2018-05-11 21:04:41
【问题描述】：
我有一个线性的三步数据流管道 - 由于某种原因，最后一步开始了，但在我放弃并终止工作之前，前两个步骤在 Not started 中挂了很长时间。我不确定是什么原因造成的，因为过去同样的管道已经成功运行，我很惊讶它没有在日志中显示任何错误，说明是什么阻止了前两个步骤的启动。什么会导致这种情况，我该如何防止它发生？
【问题讨论】：
-
这是流式管道吗？你有没有观察到任何进展？当您单击监控 UI 上的步骤时，像元素计数一样增加？水印呢，你观察到它们在增加吗？管道卡住的一些原因。 (1) 在 GroupByKey （即非常热的键）之后向同一个键发送太多数据。如果您有任何可能阻塞的用户代码，即进行 RPC (2)。 (3) 您是否使用 BigQuery Sink，存在 BQ 导出缓慢的已知问题。它是否通过了第二次尝试？你有管道的工作ID吗？我们或许可以进行更多调查。
-
这是一个批处理管道。没有进展，没有元素计数增加。 （1）我测试了在过去成功的数据上运行它，所以这不应该是它（2）没有 RPC（3）没有 BQ。我尝试了几次都没有成功。我取消的一个示例作业 ID 是 2018-05-12_18_04_14-1848949634103184693
-
与某人交谈 - 这可能是工人没有开始的问题 - 显然我们的最后一步可能不需要工人，因为它只是写给 GCS
-
想通了，没有查看正确的日志，将发布答案
标签： google-cloud-platform google-cloud-dataflow apache-beam