Kafka消费者——统计从头到尾的偏移量

Question

我能够通过使用消费参数（最早）从特定 Kafka 主题的开始到结束获取数据形式。 回复： 偏移量 180 ，味精 abc .... . . 偏移量 12000 , msg klp...

我想计算从特定偏移量到最新偏移量的计数，以了解插入了多少新消息。 kafka 消费者是否有这样的参数可以使用 或者我需要为此获取 groovy 代码？

场景将是： 开始消费 kafka 主题，偏移量可能是 180-12000 向 kafka 主题发布 100 条消息。 现在的偏移量是 180-12099，由于某种原因 1 条消息未能发布。 我需要一个代码来确保总数为 100，如果 99 则失败。

Answer 1

您应该检查您发送的消息的生产者返回代码，而不是检查是否存在正确数量的偏移量。当消息被 kafka 代理确认后，大多数 kafka 生产者都会返回消息的偏移量。