使用轮询模式使用 Kafka 消息

Question

我是 Kafka 新手，我正在使用 Kafka 1.0。

我使用拉取模式读取kafka消息，即我定期poll()Kafka主题获取新消息，但我没有将偏移量写回Kafka。

我想问kafka是怎么知道我消耗了哪些offset或者kafka记住进度的机制是什么（Kafka offset）

Answer 1

每个消费者组都维护每个主题分区的偏移量。由于v0.9，每个消费者组的已提交偏移信息都存储在一个名为（默认情况下）__consumer_offsets 的内部主题中（在 v0.9 之前，此信息存储在 Zookeeper 上）。当偏移管理器收到OffsetCommitRequest 时，它会将请求附加到名为__consumer_offsets 的特殊压缩Kafka 主题中。最后，偏移量管理器将向消费者发送一个成功的偏移量提交响应，只有当偏移量主题的所有副本都收到偏移量时。