如何通过使用 shopify sarama 进行抵消来处理消费者恢复

Question

我读到 kafka 提供了一个消费者客户端库，该库允许通过保存在 zookeeper 中读取的最后一个偏移量来进行恢复（不是 100% 确定它的存储位置）。

是否可以对 Sarama 消费者做同样的事情？

假设我正在阅读直到偏移量 550，我的消费者崩溃了 5 分钟，我们现在处于偏移量 700，但我想从偏移量 550 恢复消费。

不用自己保存状态是否可行？ 我会假设它会，但我不明白如何。

我找到了sarama.OffsetNewest/Oldest但这不是我要找的...

Answer 1

Kafka 消费者过去在 Zookeeper 中存储偏移量，但现在他们直接将它们存储在 Kafka 中。请参阅 Kafka 文档中的 Consumer section。

Sarama 处理得很好，默认情况下，Sarama 消费者会在 Kafka 中提交（存储）偏移量。

看看 Sarama Consumer example。最初，此示例从主题末尾开始，但在重新启动时，它将从最后一个位置重新开始。