Kafka-node 突然从偏移量 0 开始消费

Question

有时，kafka-node 消费者从偏移量 0 开始消费，而它的默认行为是只消费较新的消息。然后它不会切换回其默认行为。你知道如何解决这个问题，会发生什么以及它的行为突然改变吗？代码非常简单，无需更改代码即可实现。

var kafka = require("kafka-node") ;
  Consumer = kafka.Consumer;
  client = new kafka.KafkaClient();


  consumer = new Consumer(client, [{ topic: "Topic_23", partition: 0}
                                    ]);


consumer.on("message", function(message) {

    console.log(message)


  });

目前我找到的唯一解决方案是更改 kafka 主题。然后一切正常。有任何想法吗 ？

Answer 1

在 Kafka 中，偏移量不与特定消费者相关联，而是与消费者组相关联。在您的代码中，您没有提供消费者组，因此，每次启动消费者时，它都会被分配给不同的消费者组，因此偏移量从0 开始。

以下内容应该可以解决问题（显然，在您第一次阅读所有消息时）：

var kafka = require("kafka-node") ;

Consumer = kafka.Consumer;
client = new kafka.KafkaClient();

payload = [{
    topic: "Topic_23", 
    partition: 0
}]

var options = {
    groupId: 'test-consumer-group',
    fromOffset: 'latest'
};


consumer = new Consumer(client, payload, options);
consumer.on("message", function(message) {
    console.log(message)
  });