Kafka 消费者正在读取重新启动时最后提交的偏移量（Java）

Question

我有一个 kakfa 消费者，其 enable.auto.commit 设置为 false。每当我重新启动消费者应用程序时，它总是会再次读取上次提交的偏移量，然后再读取下一个偏移量。

例如。最后提交的偏移量是 50。当我重新启动消费者时，它再次首先读取偏移量 50，然后再读取下一个偏移量。

我正在执行 commitsync，如下所示。

Map<TopicPartition, OffsetAndMetadata> offsets = new HashMap<>();
offsets.put(new TopicPartition("sometopic", partition), new OffsetAndMetadata(offset));
kafkaconsumer.commitSync(offsets);

我尝试将 auto.offset.reset 设置为 earliest 和 latest 但它不会改变行为。

我在消费者配置中遗漏了什么吗？

config.put(ConsumerConfig.CLIENT_ID_CONFIG, "CLIENT_ID");
config.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");
config.put(ConsumerConfig.GROUP_ID_CONFIG, "GROUP_ID");
config.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
config.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
config.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,CustomDeserializer.class.getName());
config.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");

Answer 1

如果你想使用commitSync(offset)，你必须小心并阅读它的Javadoc：

提交的偏移量应该是您的应用程序将使用的下一条消息，即 lastProcessedMessageOffset + 1。

如果不给偏移量加+1，预计下次重启时，消费者会再次消费最后一条消息。如另一个答案中所述，如果您使用 commitSync() 没有任何参数，您不必担心

Answer 2

您似乎正在尝试使用new OffsetAndMetadta(offset) 提交。这不是典型的用法。

这是文档中的一个示例，在 手动偏移控制下：

 List<ConsumerRecord<String, String>> buffer = new ArrayList<>();
 while (true) {
     ConsumerRecords<String, String> records = consumer.poll(100);
     for (ConsumerRecord<String, String> record : records) {
         buffer.add(record);
     }
     if (buffer.size() >= minBatchSize) {
         insertIntoDb(buffer);
         consumer.commitSync();
         buffer.clear();
     }
 }

https://kafka.apache.org/21/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html

注意consumer.commitSync() 调用是如何在没有任何参数的情况下执行的。它只是消费，它会承诺到那时为止消费的任何东西。