【发布时间】:2017-01-19 17:05:28
【问题描述】:
我是kafka的新手,当我们使用kafka时,我们可以设置retention.bytes。假设我们设置为1GB,如果消息量达到1GB,kafka会删除消息。我想问一下偏移量是否会重置为零? 二、consumer设置auto.offset.reset为最大,kafka删除消息后,consumer会从什么offset开始?
【问题讨论】:
标签: apache-kafka consumer
我是kafka的新手,当我们使用kafka时,我们可以设置retention.bytes。假设我们设置为1GB,如果消息量达到1GB,kafka会删除消息。我想问一下偏移量是否会重置为零? 二、consumer设置auto.offset.reset为最大,kafka删除消息后,consumer会从什么offset开始?
【问题讨论】:
标签: apache-kafka consumer
对于您的问题 #1,在遵守基于大小和基于时间的策略的情况下,日志可能会滚动到新的空日志段。新日志段文件的起始偏移量将是下一条将附加到日志的消息的偏移量。
对于您的问题 #2,这取决于。如果消费者跟踪到的偏移量由于消息删除而超出范围,则将其重置为最大偏移量。
【讨论】: