DataFlow 不确认 PubSub 消息

Question

简单的 gcloud 数据流管道：

PubsubIO.readStrings().fromSubscription -> 窗口 -> ParDo -> DatastoreIO.v1().write()

当对 pubsub 主题应用负载时，消息被读取但不被确认：

2017 年 7 月 25 日下午 4:20:38 org.apache.beam.sdk.io.gcp.pubsub.PubsubUnboundedSource$PubsubReader 统计信息 信息：Pubsub projects/my-project/subscriptions/my-subscription 有 1000 条已接收消息，950 条当前未读消息，843346 条当前未读字节，970 条当前飞行中消息，28367 毫秒最旧飞行中，1 个当前飞行中检查点，2最大飞行检查点，770B/s 最近读取，1000 最近收到，0 最近扩展，0 最近延迟扩展，50 最近确认，990 最近 NACK，0 最近过期，898 毫秒最近消息时间戳偏差， 9224873061464212ms 最近水印倾斜，0 最近延迟消息，2017-07-25T23:16:49.437Z 最后报告水印

应该在哪个管道步骤确认消息？

• stackdriver 仪表板显示有一些确认，但未确认的消息数量保持稳定。
• 跟踪中没有错误消息表明消息处理失败。
• 条目显示在数据存储中

Answer 1

Dataflow 只会在 PubSub 消息被持久提交到其他地方后确认它们。在由 PubSub -> ParDo -> 1 个或多个接收器组成的管道中，这可能会被任何有问题的接收器延迟（即使它们正在重试，也会减慢速度）。这是确保结果似乎得到处理effectively-once 的一部分。有关详细信息，请参阅a previous question about when Dataflow acknowledges a message。

更改此行为的一个（简单）选项是在 PubSub 源之后和接收器之前添加一个 GroupByKey（使用随机生成的密钥）。这将导致消息更早得到确认，但性能可能会更差，因为 PubSub 通常比 GroupByKey 更擅长保存未处理的输入。