Kafka 消费组无法从一个/多个分区读取数据答案

【问题标题】：Kafka consumer group fails to read data from one/more partitionsKafka 消费组无法从一个/多个分区读取数据
【发布时间】：2018-03-25 23:28:29
【问题描述】：

我们正在使用 3 个具有相同组 id 的 kafka 消费者来读取数据。带有--replication-factor 5 和--partitions 5 的Kafka 主题

最初一切正常，但一段时间后（比如 1 周后），消费者组无法从一个或多个分区读取数据。我们没有看到任何错误记录。

我们使用 kafka 版本 = 0.10.0.1

我们将不胜感激。

【问题讨论】：

【解决方案1】：

按主题划分的保留政策是什么？消费者是否有可能订阅了一个偏移量被删除的主题？

当您说“阅读失败”时，您可以在消费者方面发布一些日志吗？当你

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic awesomeTopic --from-beginning --consumer-property group.id=consumerGroup

【讨论】：

感谢阿基姆的回复。我们有 90 天的保留期。偏移量不会被删除。但是我可以在每天运行后看到消费者偏移量的滞后，尽管我们在阅读后提交了消息。当我运行您给出的命令时，它会读取一些旧消息...
我们不做自动提交。我们阅读消息并处理消息。这个操作需要一些时间，比如 1 分钟。然后我们提交消息。这种延迟提交偏移会导致任何问题吗？
我们的应用程序只在每天晚上运行。所以其余时间都是闲置的。这会影响 kakfa 偏移吗？