消息重复数据删除在 ​​Kafka 消费者端是否必不可少？

Question

Kafka documentation 声明以下是最重要的场景：

实时处理付款和财务交易，例如 在证券交易所、银行和保险业

此外，关于主要概念，就在最顶部：

Kafka提供处理能力等各种保证 事件恰好一次。

文件说的很有趣：

许多系统声称提供“恰好一次”交付语义，但 阅读细则很重要，这些声明中的大多数都是 误导…

付款/金融交易必须“精确一次”处理似乎很明显，但 Kafka 文档的其余部分并没有明确说明应该如何完成。 让我们关注生产者/发布者方面：

如果生产者尝试发布消息并遇到网络 错误它不能确定这个错误是发生在之前还是之后 消息已提交。这类似于插入的语义 使用自动生成的键进入数据库表。 … 自 0.11.0.0 起， Kafka 生产者还支持幂等交付选项， 保证重新发送不会导致重复条目 记录。

KafkaProducer 仅确保它不会错误地重新提交消息（导致重复）本身。 Kafka 无法涵盖客户端应用程序代码崩溃（以及 KafkaProducer）的情况，并且不确定它之前是否调用了 send（或事务生产者的情况下的 commitTransaction），这意味着应用程序级重试将导致重复处理。

对于其他目的地系统，通常只进行一次交付 需要与此类系统合作，但 Kafka 提供了偏移量 这使得实现这一点变得可行（另请参阅 Kafka Connect）。

上述陈述只是部分正确，这意味着虽然它在消费者端公开了偏移量，但在生产者端完全不可行。

Kafka 消费-过程-生产循环利用 sendOffsetsToTransaction 启用了一次性处理，但同样无法涵盖链中第一个生产者可能出现重复的情况。

官方提供的demo for EOS（Exactly once 语义）只提供了一个consume-process-produce EOS的例子。

涉及读取已提交事务的 DB 事务日志读取器的解决方案也无法确定它们是否会在崩溃时产生重复消息。

不支持涉及数据库和 Kafka 生产者的分布式事务 (XA)。

---

所有这一切是否意味着为了确保对支付和金融交易进行一次处理（Kafka 顶级用例！），我们绝对必须在消费者端执行业务级消息重复数据删除，尽管有 Kafka 传输级别的“保证”/索赔？

注意：我知道： Kafka Idempotent producer 但如果重复数据删除在消费者方面是不可避免的，我想要一个明确的答案。

Answer 1

您必须在消费者端进行重复数据删除，因为消费者端的重新平衡确实会导致根据获取大小和提交间隔参数在消费者组中多次处理事件。

如果消费者在未向代理确认的情况下退出，Kafka 会将这些事件分配给组中的另一个消费者。例如，如果您要提取 5 个事件的批量大小，如果消费者在处理前 3 个事件后死亡或重新启动（如果外部 api/db 失败，或者更糟糕的情况是您的服务器内存不足并崩溃），当前消费者死亡突然没有向经纪人提交/确认。因此，相同的批次从组（重新平衡）分配给另一个消费者，它开始再次提供相同的事件批次，这将导致重新处理相同的记录集，从而导致重复。在这里阅读：https://quarkus.io/blog/kafka-commit-strategies/

您可以使用 Kafka 的内部状态存储进行重复数据删除。这里没有偏移/分区跟踪，它是一种缓存（集群上的持久时间限制）。

在我的例子中，我们在成功处理事件时将相关 ID（传入事件中的唯一业务标识符）推送到其中，并且在处理之前检查所有新事件以确保其不是重复事件。启用状态存储将在 Kafka 集群中创建更多内部主题，仅供参考。

https://kafka.apache.org/10/documentation/streams/developer-guide/processor-api.html#state-stores