更正流数据中的聚合视图

Question

这个问题与 KSQL 或流处理技术的聚合视图有关。当我们接收到事件时，我们会应用 group by 子句来聚合它们。现在发生了一个事件，它是对某个先前事件的更正。这将使我的聚合视图处于不一致的状态。这不是乱序事件到达案例。例如。我有一个事件 (e)，它由实体 id (t)、类别 (c) 和数量 (q) 属性组成。 关注事件

1) e1 —> t1, c1, q1
2) e2 -> t2, c2, q2
3) e3 -> t3, c1, q3
4) e4 -> t1, c1, q4 correction to e1
5) e5 -> t5, c2, q5

我的聚合视图将按类别汇总数量组

c1 -> q1 + q3 + q4

c2 -> q2 + q5.

c1 现在处于不一致状态。 c1 应该只是 q3 + q4。

有没有办法解决这些问题。我知道我可以将所有事件保存在某个缓存中，然后创建一个聚合视图，但这是实时数据，因此我的所有视图每次都需要刷新。

Answer 1

在 Kafka Streams 中，您也许可以使用KStream#groupBy()#aggregate()#mapValue()。 aggregate() 不会计算聚合，而是返回一个 id->value 的 Map。在 mapValue() 中，您计算​​ Map 的所有值的聚合。这样，当更新到达时， if 会将 Map 中的旧值替换为新值，并且 mapValue() 将正确地重新计算聚合结果。