我们如何在 Apache Kafka 中实现这一点

Question

我们希望通过 Apacke Kafka 发送事务数据，因为我们有两个下游系统，并且在 UI 中显示成功消息之前，我们希望确保数据在两个下游系统中都成功保存。

我们通过生产者推送数据并在消费者端读取数据，并能够将其保存在下游系统中。缺少的环节是如何知道数据是否在下游系统中成功保存，以便我们可以在 UI 上显示成功消息。

有没有一种方法可以通过 Kafka 来实现。我们刚刚开始使用 kafka，不确定这个用例是否适合 kafka。

Answer 1

如果您的生产者知道消费者，它可以观察提交的消费者偏移量以查看哪些记录被消费了。生产者可以将这些偏移映射到它自己编写的消息。

有关如何执行此操作的更多详细信息（超出单个问题的范围），只需深入研究 Kafka 代码（它是开源的）。作为起点，请查看bin/kafka-consumer-groups.sh，它是一个监控消费者偏移量的工具。