【问题标题】:when the amount of messages reach the maxsize of retention.bytes ,the kafka will delete messages,the offset will be reset to zero?当消息量达到retention.bytes的最大值时,kafka会删除消息,偏移量是否会重置为零?
【发布时间】:2017-01-19 17:05:28
【问题描述】:

我是kafka的新手,当我们使用kafka时,我们可以设置retention.bytes。假设我们设置为1GB,如果消息量达到1GB,kafka会删除消息。我想问一下偏移量是否会重置为零? 二、consumer设置auto.offset.reset为最大,kafka删除消息后,consumer会从什么offset开始?

【问题讨论】:

    标签: apache-kafka consumer


    【解决方案1】:

    对于您的问题 #1,在遵守基于大小和基于时间的策略的情况下,日志可能会滚动到新的空日志段。新日志段文件的起始偏移量将是下一条将附加到日志的消息的偏移量。

    对于您的问题 #2,这取决于。如果消费者跟踪到的偏移量由于消息删除而超出范围,则将其重置为最大偏移量。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-02-14
      • 1970-01-01
      • 2016-02-13
      相关资源
      最近更新 更多