【问题标题】:Offset and lag for kafka consumer (created via new consumer api) are set to unknownkafka 消费者的偏移和滞后(通过新的消费者 api 创建)设置为未知
【发布时间】:2016-10-31 17:35:27
【问题描述】:

我经常看到 kafka 消费者将当前偏移量和滞后设置为未知的问题
早期的消费者有偏移和滞后

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER  
G.AB_KAFF, T.AB_KAFF, 0, 3, 6, 3, consumer-2
G.AB_KAFF, T.AB_KAFF, 1, 8, 11, 3, consumer-2

当我几天后再次订阅此消费者时,它的偏移量和滞后设置为未知

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER  
G.AB_KAFF, T.AB_KAFF, 0, unknown, 7, unknown, consumer-2
G.AB_KAFF, T.AB_KAFF, 1, unknown, 11, unknown, consumer-2  

kafka 是否会删除该消费者以前的偏移量,因为我要从主题中取消订阅整个消费者组?

【问题讨论】:

    标签: apache-kafka producer-consumer kafka-consumer-api


    【解决方案1】:

    kafka 是否会删除该消费者以前的偏移量,因为我是 从主题中退订整个消费者组?

    是的,你是对的。 offsets.retention.minutes=1440 (24 hours) 默认为 24​​ 小时。
    偏移主题的日志保留窗口(以分钟为单位)

    【讨论】:

      猜你喜欢
      • 2023-04-11
      • 1970-01-01
      • 1970-01-01
      • 2019-04-04
      • 1970-01-01
      • 2020-06-11
      • 2020-08-08
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多