【问题标题】:Apache Kafka - get messages that should be deletedApache Kafka - 获取应该删除的消息
【发布时间】:2021-05-26 05:20:56
【问题描述】:

干吧,

今天我和我的一位同事交谈,我们偶然发现了一个处理 Kafka 主题中过期消息的问题。 我们想知道是否有办法获取由于保留计时器过期而被“标记”为删除的消息。

就像在删除消息的那一刻,组件会收到有关该消息的信息。

有没有办法做这样的事情?由于这个问题只是出于好奇,我没有任何好的例子。

提前致谢!

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    您可以做的最好的事情是解析代理上的每个 LogCleaner 日志(这意味着您需要按主题和分区进行重复数据删除)以了解每个代理上的段何时将被删除

    如果不转储日志段,则无法知道何时删除单个消息

    【讨论】:

      猜你喜欢
      • 2020-02-16
      • 1970-01-01
      • 1970-01-01
      • 2015-04-19
      • 2015-02-18
      • 1970-01-01
      • 1970-01-01
      • 2020-10-16
      • 1970-01-01
      相关资源
      最近更新 更多