清理策略：压缩/删除和 log.retention答案

【问题标题】：Cleanup Policy:Compact/Delete and log.retention清理策略：压缩/删除和 log.retention
【发布时间】：2020-07-21 21:13:22
【问题描述】：

我有一个关于 Kafka 主题清理策略及其与 log.retention 的交互的问题......

比如我设置cleanup.policy为compact，compaction只会在topic的保留时间之后才开始，或者retention time对compaction没有影响？

问题的第二部分，如果我使用压缩，一起删除，并且我有 log.retention 让我们说 1 天，主题一直压缩但主题的内容会在一天后被删除？还是一天后实现的compaction和delete？

谢谢解答...

【问题讨论】：

【解决方案1】：

可以删除或压缩日志段，或两者兼而有之，以管理它们的大小。主题级别的配置cleanup.policy 决定了主题的日志段的管理方式。

通过压缩清理日志

如果主题级配置cleanup.policy设置为compact，则主题的日志会被日志清理器定期在后台压缩。

在压缩主题中，日志只需要包含每个键的最新消息，而之前的消息可以被丢弃。

无需将 log.retention 设置为 -1 或任何其他值。您的主题将被压缩，并且永远不会删除旧消息（根据压缩规则）。

注意，只有非活动的文件段可以被压缩；活动段永远不会被压缩。

同时使用日志清理

您可以同时为cleanup.policy 配置指定delete 和compact 值。在这种情况下，日志被压缩，但清理过程也遵循retention time 或size limit 设置。

我建议你通过以下链接

【讨论】：