如何调试 Google Cloud Dataflow Streaming Engine 中断？答案

【问题标题】：How to debug Google Cloud Dataflow Streaming Engine outage?如何调试 Google Cloud Dataflow Streaming Engine 中断？
【发布时间】：2020-04-04 13:24:53
【问题描述】：

我们正在使用流引擎选项在 Google Cloud Dataflow 中运行一些流处理。今天早上有些数据丢失了，所以我试着做一些故障排除。我发现的唯一一件事似乎是重新启动了工作程序（请参阅日志文件的屏幕截图）。没有任何日志显示任何错误或异常。

我们对 GCP 还很陌生，所以我们不太了解自己的方式。有没有办法找到工人重启的根本原因？或者这只是一个基础设施错误？

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow apache-beam google-cloud-stackdriver

【解决方案1】：

您是否查看过 DataFlow 管道正在写入的上游数据源？如果您的同步无法跟上您的 DataFlow 工作，请查看这篇文章，该文章似乎提出了一个解决方案： https://medium.com/google-cloud/restarting-cloud-dataflow-in-flight-9c688c49adfd

您提到的行为似乎与以下两种情况相匹配：

流水线运行缓慢或缺少输出。如果您的流水线运行缓慢或长时间运行而没有报告结果，您可以检查流式数据源和接收器的配额，例如 Pub /子。还有一些转换比其他转换更适合大容量流式传输管道。

其他 Google Cloud 服务中的暂时性故障导致的错误。您的管道可能会由于 Dataflow 所依赖的 Google Cloud 服务（例如 Compute Engine 或 Cloud Storage）中的临时中断或其他问题而失败，您可以从以下位置进行监控：https://status.cloud.google.com/。状态板报告了计算引擎最近出现的问题，这与您的中断有关吗？

有关数据流管道故障排除的更多步骤，请参阅：https://cloud.google.com/dataflow/docs/guides/troubleshooting-your-pipeline

希望这会有所帮助。

【讨论】：

- 上游数据源是 Cloud SQL。我在这里遇到了问题，但是我们遇到了异常，Dataflow 将重试，而不是显示今天的行为。 - 这篇文章是关于更新正在运行的管道。我已经尝试了很多次，效果很好。今天的行为是管道自行重启。 - 来源是 Pub/Sub，这里未确认的消息计数上升，这符合 Dataflow 不再读取消息（直到重新启动）。没有 429 配额错误（或其他任何错误） - GCP 状态板上没有中断，但我想不是所有的东西都在那里.. - 没有例外
GCP 计算中断是否与您的时间一致？我会假设引擎盖下的数据流工作者是计算实例
仪表板上的中断是几天好的。我的是今天早上
在这种情况下，可能值得联系 Google Cloud 支持，解释上述问题或将他们指向此线程，看看他们怎么说。