关于日志清理策略的说明

Question

如果我理解正确，cleanup.policy 的默认值是 delete，这意味着旧段将在通过配置 log.retention.hours 和 log.retention.bytes 限制保留时间或大小时被丢弃。

问：

在这种情况下，日志中可能有多个具有不同值的相同键的消息是否正确？ null 值（墓碑？）的消息会发生什么，这也是默认值？

如果是这样，如果我理解正确，那么这里有 delete 清理策略，它定义了由 delete.retention.ms 配置的每条记录保留，这既保证最后一个密钥存在，也将删除所有带有 null 的消息价值？

问：

1. 如果是这样，即使 delete.retention.ms 配置为 1ms，我还能看到带有 null 值的消息吗？

2. 为了删除日志中的所有消息，我应该更改哪个配置？有可能吗？

3. retention.ms 和 delete.retention.ms 是否以某种方式连接？如果是这样 - 采用何种保留政策以及如何实施？

谢谢！

Answer 1

这意味着旧段将在其保留时间或大小限制时被丢弃

仅封闭段，是的（默认为 1GB 大）。换句话说，500MB 的段将在代理上保留比retention.ms 更长的时间。

[there]日志中可以有多个具有相同键的消息具有不同的值

是的，可以。具有相同键的所有消息最终都在同一个分区中，而带有空键的消息被放入不同的分区中（默认情况下）。

---

1. 我猜你是想问为什么你能看到？因为 LogCleaner 在线程间隔上运行，并且只清理关闭的段。消息不会从“这一毫秒”的日志段中截断，尤其是在具有 TB 级数据价值的集群上。

2. 如果您想完全删除一个主题，而不必等待 LogCleaner 完成其工作，则使用适当的 API 调用来删除主题，而不是使用保留设置 purge a topic

3. delete.retention.ms 是压缩主题的设置。 retention.ms 用于 cleaup.policy=delete 主题