Kafka Stream 在重新平衡时重新处理旧消息

Question

我有一个 Kafka Streams 应用程序，它从几个主题中读取数据、连接数据并将其写入另一个主题。

这是我的 Kafka 集群的配置：

5 Kafka brokers
Kafka topics - 15 partitions and replication factor 3. 

我的 Kafka Streams 应用程序与我的 Kafka 代理在同一台机器上运行。

每小时消耗/产生几百万条记录。每当我关闭代理时，应用程序就会进入重新平衡状态，并且在重新平衡多次后，它开始消耗非常旧的消息。

注意：当 Kafka Streams 应用程序运行良好时，其消费者延迟几乎为 0。但重新平衡后，其延迟从 0 变为 1000 万。

这可能是因为 offset.retention.minutes。

这是我的 Kafka 代理的日志和偏移量保留策略配置：

log retention policy : 3 days
offset.retention.minutes : 1 day

在下面的链接中，我读到这可能是原因：

Offset Retention Minutes reference

我们将不胜感激。

Answer 1

抵消保留可能会产生影响。参见此常见问题解答：https://docs.confluent.io/current/streams/faq.html#why-is-my-application-re-processing-data-from-the-beginning

另请参阅How to commit manually with Kafka Stream? 和 How to commit manually with Kafka Stream?，了解提交的工作原理。