使用 Google Pub/Sub 重播事件

Question

我正在研究 Google Cloud，它非常吸引人，特别适用于数据密集型应用程序。我正在研究 Pub/Sub + Dataflow，并试图找出重放通过 Pub/Sub 发送的事件的最佳方法，以防处理逻辑发生变化。

据我所知，Pub/Sub 保留的上限为 7 天并且这是每个订阅，主题本身不保留数据。在我看来，它允许禁用日志压缩，就像在 Kafka 中一样，所以我可以从一开始就重放数据。

现在，既然数据流承诺您可以在批处理和流模式下运行相同的作业，那么通过将所有事件转储到 Google 存储并从那里回复来模拟这种期望的行为会有多有效？

我也愿意接受任何其他想法。

谢谢

Answer 1

正如您所说，Cloud Pub/Sub 目前不支持重播，因此您需要将事件保存在某个地方以便稍后重播，而 Cloud Storage 听起来是个不错的选择。

Answer 2

Cloud Pub/Sub 现在能够重播之前确认的消息。请参阅quickstart 和related blog post 了解有关如何使用该功能的信息。