排空 DataFlow 作业并立即启动另一个作业，导致消息重复

Question

我有一个数据流作业，它订阅了来自 PubSub 的消息：

p.apply("pubsub-topic-read", PubsubIO.readMessagesWithAttributes()


.fromSubscription(options.getPubSubSubscriptionName()).withIdAttribute("uuid"))

我在文档中看到不能保证不重复，Beam 建议使用withIdAttribute。

这非常有效，直到我耗尽现有作业，等待它完成并重新启动另一个作业，然后我看到数百万个重复的 BigQuery 记录（我的作业将 PubSub 消息写入 BigQuery）。

知道我做错了什么吗？

Answer 1

我认为您应该使用 update feature 而不是使用 drain 来停止管道并启动新管道。在后一种方法中，两个管道之间不共享状态，因此 Dataflow 无法识别已从 PubSub 传递的消息。使用更新功能，您应该能够在没有重复消息的情况下继续您的管道。