Apache Kafka 和持久订阅

Question

我正在考虑使用 Apache Kafka，但找不到任何有关持久订阅的信息。假设我的分区中的消息到期时间为 5 秒。现在如果消费者失败并在 5 秒后重新连接，他错过的消息将消失。更糟糕的是，他不会知道他错过了一条消息。持久订阅模式通过为失败或断开连接的消费者保存消息来解决这个问题。 Kafka中是否实现了类似的功能？

Answer 1

Kafka 不支持此功能。但是您当然可以随时增加保留时间，从而限制消费者错过消息的可能性。

此外，如果您将auto.offset.reset 设置为none，您将收到一个异常通知，告知您消费者是否错过了任何消息。因此，如果发生这种情况，可以得到通知。

最后但并非最不重要的一点是，使用compacted 主题是可能的——这将确保在您明确编写所谓的墓碑消息之前不会删除消息。请注意，记录必须具有唯一键才能使用压缩主题。