【问题标题】:How to replay Event Sourcing events reliably?如何可靠地重播事件溯源事件?
【发布时间】:2021-08-28 14:15:17
【问题描述】:

事件溯源的一大承诺是重播事件的能力。当实体之间没有关系(例如 blob 存储、用户配置文件)时,它的效果很好,但是当有重要的关系需要检查时,如何快速重播?

例如:Product(id, name, quantity) 和 Order(id, list of productIds)。如果我们有CreateProduct 然后CreateOrder 事件,那么它会成功(产品在仓库中可用),它很容易实现例如使用 Kafka(一个主题包含 n1 分区用于产品,另一个主题包含 n2 分区用于订单)。

在重放期间,一切都发生得更快,Kafka 可能会重新排序事件(例如CreateOrder 然后CreateProduct),这会给我们带来与最初不同的行为(CreateOrder 现在将失败,因为产品尚不存在)。这是因为 Kafka 保证仅在一个分区内的一个主题内进行排序。简单的解决方案是将所有内容放入一个具有一个分区的大型主题中,但这将是完全不可扩展的,因为更大数据库的单线程重放可能至少需要几天时间。

是否有任何现有的更好的解决方案可以快速重放相关实体?或者当我们需要检查数据库中的关系时,我们是否应该忘记事件溯源和事件重放,而重放只适用于不相关的数据?

【问题讨论】:

  • 您需要构建重播逻辑来验证是否存在与创建原始事件时可能需要的关系一样的关系(原始数据也不能保证时间或事件发生率,因为那只是一种看法)。 Kafka 本身不会对事件重新排序,因为主题是不可变的
  • 当每个主题有 >1 个分区时,Kafka 可以(并且通常会)重新排序事件传递,只保证一个分区内的顺序。每个主题通常有 >1 个分区以提高可扩展性。
  • 那是消费者客户端,不是 Kafka 这样做的,不,轮询时单个分区内的偏移顺序不会改变
  • 正确地说,从消费者的角度来看,不同Kafka分区中消息的接收顺序是没有定义的。
  • 使用 Kafka 进行事件溯源是有问题的。见:serialized.io/blog/apache-kafka-is-not-for-event-sourcing

标签: apache-kafka event-sourcing


【解决方案1】:

作为事件溯源时的实际需要,您需要能够为特定实体生成事件流,以便您可以应用事件处理程序来建立状态。对于 Kafka,除了您的实体太少以至于您可以将整个主题分区分配给单个实体的事件之外,这需要线性扫描和过滤分区。因此,由于这个原因,虽然 Kafka 很可能成为任何事件驱动/基于事件的系统的关键部分,用于中继服务发布的事件以供其他服务使用(此时,如果我们考虑事件与命令二分法,我们从消费服务的角度讨论命令),它不太适合事件存储的角色,事件存储的定义是它们能够快速为您提供特定实体的有序事件流。

最受欢迎的专用事件存储可能是富有想象力的事件存储(至少部分是由于一些著名的事件采购倡导者参与了其设计和实施)。或者,有像 Akka Persistence(带有 .Net 端口的 JVM)这样的库/框架,它们使用现有的数据库(例如关系 SQL 数据库、Cassandra、Mongo、Azure Cosmos 等)以促进将它们用作事件存储。

事件溯源也作为一种实际需要趋向于导致 CQRS(它们很好地结合在一起:事件溯源可以说是能够成为写入模型的最简单的持久性模型,而作为读取模型几乎无用)。看到的典型模式是系统的命令处理组件强制执行诸如“产品在添加到购物车之前存在”之类的约束(如何强制执行这些约束通常是使用任何并发模型的问题:参与者模型具有高在将事件写入事件存储之前,可以假定从事件存储中读回的事件在写入时有效(以后可能决定需要记录补偿事件)。事件存储中的事件可以投射到 Kafka 主题,以便与另一个服务进行通信(命令处理组件是事件的唯一真实来源)。

从其他服务的角度来看,如前所述,主题中的投影事件是命令(事件的隐含命令是“更新您的模型以解决此事件”)。从语义上讲,它们作为事件的出处意味着它们已经过验证并且是不可否认的(但是可以忽略它们)。如果需要进行一些模型验证,这通常需要有意识地决定忽略该命令或等到接收到允许该命令被接受的另一个命令。

【讨论】:

  • 我想过等待。从技术上讲,这在 Kafka 中是可能的(Consumer.seek,Consummer.commit)。不幸的是,它并没有完全解决问题:假设用户 A 调用 CreateProduct,然后用户 B 调用 CreateOrder,用户 C 同时调用 CreateOrder。仓库里只有一件产品。首先交付的CreateOrder 获胜。因为这是一个巨大的商店,我们想使用多个 Kafka 分区。由于来自各个分区的消息顺序未定义,因此在重放期间,用户 B 和 C 之间的顺序可以颠倒。
  • 您不必将CreateProduct 或CreateOrder 视为事件,而应将其视为命令,这意味着它们可能无效。
  • 无论您是只允许有效的“事件”还是可能无效的“命令”,问题仍然是一样的:如果您尝试通过添加更多分区来扩展它,就会变得一团糟。
【解决方案2】:

我想我找到了可扩展(多分区)事件溯源的解决方案:

  • 在 Kafka(或类似系统)中创建名为 messages 的主题
  • 将用户分配到分区(例如通过murmurHash(login) % partitionCount)
  • 如果一条数据是可变的(例如Product、Order),每个分区都应该包含自己的数据副本
  • 如果我们有例如我们仓库中有 256 件产品和 64 个分区,我们最初可以“给”每个分区 8 个,因此大多数CreateOrder 事件将在不离开用户分区的情况下快速处理
  • 如果用户(一个分区)有时需要改变其他分区中的数据,它应该在那里发送一条消息:
    • 例如对于Product / Order 域,分区的工作方式类似于全国各地的沃尔玛/特易购商店,并且在分区(“商店”)之间发送的消息可能类似于CreateProduct、UpdateProduct、 CreateOrder, SendProductToMyPartition, ProductSentToYourPartition
    • 消息将变成一个“事件”,就好像它是由用户生成的一样
    • 重播期间不应发送消息(已发送,无需再发送两次)

这样,即使 Kafka(或任何其他事件源系统)选择在分区之间重新排序消息,我们仍然可以,因为我们不会在单线程“孤岛”之外读取任何数据。

编辑:正如@LeviRamsey 所说,这个“单线程岛”基本上是演员模型,像 Akka 这样的框架可以让它变得更容易一些。

【讨论】:

  • 所以每个产品和每个订单的每次更改都会发布到每个分区......这与单个分区到底有什么不同?
  • 实现单线程一致性孤岛的想法非常强大......您可能需要阅读演员模型(例如 JVM 上的 Akka)。
  • 产品名称之类的更改应该传播到每个分区,但是分区“虚拟仓库”中的订单或剩余产品计数等内容可以是分区私有的,因此在大多数情况下可以处理CreateOrder在 1 个分区中。 Akka 看起来很棒,但问题是:它与 Kafka 相比有多快?根据基准,如果我们不想存储消息,像 ZeroMQ 这样的无持久性队列是最快的,但是如果我们想存储消息(例如事件溯源),Kafka 通常会胜出。另一个问题可能是采用:今天的许多开发人员都知道 Kafka,而 Akka 却不能这么说。
  • 由于使用 Kafka 解决方案,您可能会通过分区进行线性扫描并忽略大部分消息,或者如果您有 N 个实体使用分区,则您正在处理所有 N同一线程一次一条消息,我很乐意说 Akka(使用 Cassandra 作为持久性后端)解决方案,特别是如果我们谈论(至少)数千家商店,数十万种产品,数以百万计的订单比您提议的 Kafka 解决方案高出 10 倍,每个内核可能高出 100 倍。
猜你喜欢
  • 2021-06-24
  • 1970-01-01
  • 2017-04-06
  • 1970-01-01
  • 1970-01-01
  • 2018-09-23
  • 1970-01-01
  • 1970-01-01
  • 2020-05-27
相关资源
最近更新 更多