kafka的offset topic的保留期问题

Question

我们正面临 Kafka 的问题。我们有一个只有一个分区和一个消费者组中只有一个消费者的主题。消费者已停止一个月。与此同时，生产者正在向该主题发送消息。

当我们再次启动消费者时，它无法消费消息。我假设之前提交的偏移量已经丢失，因此消费者在唤醒时不知道找到起点。

当我们停止并再次启动消费者时，消费者可以接收新消息，但之前发送的所有消息都没有被消费。

偏移是否已损坏？ kafka 内部主题偏移量的保留期是否意味着最后提交的偏移量已被删除？

Answer 1

可以在 kafka 代理中配置保留值：

offsets.retention.minutes

默认为 24​​ 小时。看： Kafka consumer group offset retention

编辑：从 Kafka 2.0 开始，默认值为 7 天。

Answer 2

我们也面临同样的问题，我对此进行了一些研究。我已更改以下步骤，它已解决。

我们有 14 天的保留期，因此我们将 kafka 偏移量主题保留期更改为 14 天

我们已经将 cleanup.policy 从 compact 更改为 delete

./kafka-configs.sh  --alter --zookeeper localhost:2181 --entity-type topics
              --entity-name __consumer_offsets --add-config cleanup.policy=delete

更新了主题的配置：“__consumer_offsets”。

Answer 3

kafka 中消息（偏移量）的默认保留期是一周，即）7 天

在保留期过后，所有现有的偏移量将从代理中删除，以避免空间溢出。

因此之前提交的偏移量将被更改为最新偏移量，因为之前的偏移量已被 kafka / zookeeper 删除。

如果你想让你的消息长时间保持，请在 kafka 中创建主题时指定 --retention-period 值。