【发布时间】:2018-03-18 21:09:35
【问题描述】:
KStreams - KTable 连接的工作方式非常简单:每次在流上发出新样本时,都会在表上执行键查找。
这会在瞬态阶段产生意外行为吗?我们有这样的拓扑:
- 一个
KStreamA,我们执行 selectKey 将其转换为 Stream A1 - 一个
KStreamB,我们groupBy然后减少,变成一个KTable B1
在启动时,我们在 A 上发布两条记录,在 B 上发布两条记录,这样在 A 上的 selectKey 和 B 上的 groupBy + reduce 之后,key 就会匹配。但是,我们注意到有时 A1 和 B1 之间的内部连接的样本会失败,而我们会丢失一些我们期望的输出。
确保没有更新丢失的正确拓扑是什么?
【问题讨论】:
标签: apache-kafka apache-kafka-streams