Kafka 偏移量设置为 -1000

Question

我的 Kafka 消费者说以下内容：

[TopicPartition{topic=my-topic,partition=0,offset=-1000,error=None}]

每当我运行 poll() 时，它都会返回 None。

我希望将偏移量设置为最后一条使用的消息。如果我手动设置offset=0，那么每当我重新启动消费者时，所有消息都会被重新读取——我只想从最后一个偏移量开始消费消息。

为什么我的偏移量设置为 -1000？

如何让 kafka 为我管理偏移量，而不是始终为 -1000？

-1000 偏移量是什么意思，看起来很无效。

Answer 1

我会想到三件事：

1. 能否确认消费者是否在任何时间点收到消息？
2. 请尝试以下 cli 命令查看您的消费者的滞后：

kafka-consumer-groups --bootstrap-server <> --group <consumer-group>  --command-config <kafka_client.properties-path> --describe

1. 您如何在消费者代码中提交偏移量？（检查 enable.auto.commit 属性；如果真正的 kafka 客户端应定期提交）