Kafka Stream 程序正在重新处理已处理的事件

Question

我向 Kafka 转发了一些事件并启动了我的 Kafka 流程序。我的程序开始处理事件并完成。一段时间后，我停止了我的 Kafka 流应用程序并重新开始。观察到我的 Kafka 流程序正在处理之前已经处理的事件。

据我了解，Kafka 流在内部维护每个应用程序 ID 的输入主题本身的偏移量。但这里重新处理已经处理的事件。

如何验证 Kafka 流处理完成的偏移量是多少？ Kafka 流如何保留这些书签？ Kafka 流在什么基础上以及从哪个 Kafka 偏移量开始读取来自 Kafka 的事件？

如果 Kafka steam 抛出异常，那么它是否会重新处理已处理的事件？

请澄清我的疑问。

请帮助我理解更多。

Answer 1

Kafka Streams 内部使用KafkaConsumer，所有正在运行的实例形成一个使用application.id 作为group.id 的消费者组。偏移量定期提交到 Kafka 集群（可配置）。因此，在使用相同的 application.id 重新启动时，Kafka Streams 应该获取最新提交的偏移量并从那里继续处理。

您可以使用bin/kafka-consumer-groups.sh 工具检查任何其他消费者组的提交偏移量。