【问题标题】:Will the messages get deleted even if it's not consumed in Kafka即使消息没有在 Kafka 中使用,消息也会被删除吗
【发布时间】:2021-09-24 09:44:14
【问题描述】:

在 Kafka 中,是否会出现这样的情况,即日志保留策略的配置方式是在消费者读取消息之前就实际删除消息?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    是的,这是可能的。

    Kafka 不跟踪每条消息被消费了多少次。在邮件达到其保留限制(由于时间或大小)后,它就有资格被删除。

    实际上,删除只发生在段上,因此消息的停留时间超过了限制,但您不应依赖于此。

    请注意,消费者公开了一个records-lead 指标,指示他们与日志的前面(删除消息的位置)的距离。如果您发现该指标随着时间的推移而下降,则表明您可能会遇到这种情况。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-12-29
      • 2021-07-23
      • 2017-06-06
      • 1970-01-01
      相关资源
      最近更新 更多