在 Spark Streaming 上下文中使用时，Kafka 主题保留.ms 不起作用

Question

我正在运行 Spark Streaming 作业（意味着数据不断被推送到 kafka 主题并被 Spark 消费者连续读取）。我的输入数据的 Kafka 主题的保留时间设置为 60000（1 分钟）。但是，输入主题不会在 1 分钟后清除消息。如果没有新数据添加到主题，大约需要 1:26 分钟才能清除。

如果我连续添加数据两分钟，我预计一半的旧数据将被清除，因为将保留时间设置为 1 分钟。但我只看到双重数据。

有没有人见过类似的模式。我该如何解决这个问题？您需要更多详细信息吗？

Answer 1

您需要设置属性log.retention.check.interval.ms 来设置日志清理器检查任何日志是否符合删除条件的频率（以毫秒为单位）。