【问题标题】:Offsets retention with running consumers抵消与运行消费者的保留
【发布时间】:2021-12-10 00:59:28
【问题描述】:

在 Kafka 文档中 offsets.retention.minutes 定义为

在一个消费者群体失去所有 消费者(即变为空)它的偏移量将为此保留 在被丢弃之前的保留期。对于独立消费者 (使用手动分配),偏移量将在 上次提交加上此保留期。

如果一个运行消费者在offsets.retention.minutes设置为1天

的情况下2天不提交其偏移量

那么消费者组的偏移量会被丢弃吗?所以如果消费者重新启动,偏移量将取决于auto.offset.reset

或者offsets.retention.minutes 配置仅在消费者宕机时应用?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    偏移量主题的工作方式与任何其他主题一样 - 它由组 ID 键入并基于此进行压缩。

    如果主题中没有新事件,则丢弃组信息和偏移量

    消费者心跳不会创建新的偏移记录,只有偏移提交会这样做

    【讨论】:

    • 如果在 offsets.retention.minutes 之前没有新事件进入该主题,对吗?
    猜你喜欢
    • 2020-07-15
    • 1970-01-01
    • 2023-01-31
    • 2016-10-31
    • 2017-11-16
    • 1970-01-01
    • 1970-01-01
    • 2019-08-19
    • 2019-06-10
    相关资源
    最近更新 更多