PubsubIO.Read + 恰好一次交付

Question

使用 2.2 Dataflow SDK 是否可以使用 Pubsub 自动应用的 messageId 字段实现一次性交付？或者这甚至可能是一种默认行为？

PubsubIO.Read.withIdAttribute 似乎通常可以做到这一点，但我无法控制已发布的消息，所以我希望使用 messageId 字段。

在旧的1.x docs 中声明：

此外，您可以实现对 Pub/Sub 消息流的一次性处理，因为 PubsubIO 根据自定义消息标识符或 Pub/Sub 分配的标识符对消息进行重复数据删除。

最后一部分暗示读取的默认行为可能会固有地将 messageId 用于完全一次传递的目的。

Answer 1

是的，1.x 和 2.2 在这方面是相同的。两者都提供一次性处理语义。两者都使用了 Pubsub 消息 ID。

请注意，一次性“处理”和“一次性”“交付”并不总是相同的。交付通常意味着接收到外部系统，这超出了 Dataflow 管道的范围。当管道中有重试时，接收器可能有重复写入。