如何处理kafka消费者失败

Question

我正在尝试了解如何处理失败的消费者记录。如何 我们知道有记录失败。我看到的是当记录 消费者处理失败，运行时异常消费者是 继续重试。但是当下一条记录可用于处理它时 正在提交最新记录的偏移量，这是预期的。我的 质疑我们如何知道失败的记录。在旧消息中 系统失败的消息回滚到队列并停止处理 那里。然后我们知道队列已关闭，我们可以采取行动。

我可以将失败的记录记录到某个数据库表中，但是如果记录失败会发生什么？ 我可以将失败移动到错误/死信队列，如果移动失败又会发生什么？

我正在使用带有 spring boot 2.3.4 的 kafka 2.6。任何帮助将不胜感激

Answer 1

听起来您需要禁用自动提交并在达到“成功处理”的范围时自己手动提交偏移量。如果您包含像数据库这样的外部进程，那么您还需要增加 Kafka 客户端超时，这样它就不会认为消费者在等待错误记录/处理时已经死亡。