【发布时间】:2021-08-28 14:15:17
【问题描述】:
事件溯源的一大承诺是重播事件的能力。当实体之间没有关系(例如 blob 存储、用户配置文件)时,它的效果很好,但是当有重要的关系需要检查时,如何快速重播?
例如:Product(id, name, quantity) 和 Order(id, list of productIds)。如果我们有CreateProduct 然后CreateOrder 事件,那么它会成功(产品在仓库中可用),它很容易实现例如使用 Kafka(一个主题包含 n1 分区用于产品,另一个主题包含 n2 分区用于订单)。
在重放期间,一切都发生得更快,Kafka 可能会重新排序事件(例如CreateOrder 然后CreateProduct),这会给我们带来与最初不同的行为(CreateOrder 现在将失败,因为产品尚不存在)。这是因为 Kafka 保证仅在一个分区内的一个主题内进行排序。简单的解决方案是将所有内容放入一个具有一个分区的大型主题中,但这将是完全不可扩展的,因为更大数据库的单线程重放可能至少需要几天时间。
是否有任何现有的更好的解决方案可以快速重放相关实体?或者当我们需要检查数据库中的关系时,我们是否应该忘记事件溯源和事件重放,而重放只适用于不相关的数据?
【问题讨论】:
-
您需要构建重播逻辑来验证是否存在与创建原始事件时可能需要的关系一样的关系(原始数据也不能保证时间或事件发生率,因为那只是一种看法)。 Kafka 本身不会对事件重新排序,因为主题是不可变的
-
当每个主题有 >1 个分区时,Kafka 可以(并且通常会)重新排序事件传递,只保证一个分区内的顺序。每个主题通常有 >1 个分区以提高可扩展性。
-
那是消费者客户端,不是 Kafka 这样做的,不,轮询时单个分区内的偏移顺序不会改变
-
正确地说,从消费者的角度来看,不同Kafka分区中消息的接收顺序是没有定义的。
-
使用 Kafka 进行事件溯源是有问题的。见:serialized.io/blog/apache-kafka-is-not-for-event-sourcing
标签: apache-kafka event-sourcing