【发布时间】:2021-05-26 05:20:56
【问题描述】:
干吧,
今天我和我的一位同事交谈,我们偶然发现了一个处理 Kafka 主题中过期消息的问题。 我们想知道是否有办法获取由于保留计时器过期而被“标记”为删除的消息。
就像在删除消息的那一刻,组件会收到有关该消息的信息。
有没有办法做这样的事情?由于这个问题只是出于好奇,我没有任何好的例子。
提前致谢!
【问题讨论】:
标签: apache-kafka
干吧,
今天我和我的一位同事交谈,我们偶然发现了一个处理 Kafka 主题中过期消息的问题。 我们想知道是否有办法获取由于保留计时器过期而被“标记”为删除的消息。
就像在删除消息的那一刻,组件会收到有关该消息的信息。
有没有办法做这样的事情?由于这个问题只是出于好奇,我没有任何好的例子。
提前致谢!
【问题讨论】:
标签: apache-kafka
您可以做的最好的事情是解析代理上的每个 LogCleaner 日志(这意味着您需要按主题和分区进行重复数据删除)以了解每个代理上的段何时将被删除
如果不转储日志段,则无法知道何时删除单个消息
【讨论】: