【问题标题】:Why my kafka cosumer group does not work?为什么我的 kafka 消费组不起作用?
【发布时间】:2018-08-12 15:09:16
【问题描述】:

我正在使用 sarama-cluster(由 Golang kafka 消费者客户端编写)

在 broker 中,我的主题的分区偏移量是 11000,我的消费者组的分区偏移量是 10100。 然后我运行我的集群消费者,但没有消耗。 (消费时间为1~2天后)

但是当我在主题的分区中产生消息时,它会消耗! (在每个分区中)

消息的编号是 901。 为什么我的消费者集群消费似乎在产生消息时被激活?

我的消费者设置是 auto.offset.reset = lastest

【问题讨论】:

    标签: apache-kafka kafka-consumer-api sarama


    【解决方案1】:

    这是因为您的偏移重置设置。 auto.offset.reset = latest 表示您的消费者组应该等待最新的记录。如果您想从头开始消费,请使用auto.offset.reset = earliest

    Kafka 官方文档:https://kafka.apache.org/0110/documentation.html

    【讨论】:

    • 但这意味着消费者将从偏移量 0 开始消费 ????正确的?我想消费offset no.10101(在我的例子中)
    • 我应该提交偏移量吗?
    • 恐怕很难从特定的偏移量中读取,我猜。通常您的消费者从最后一个 known 偏移量读取数据。如果偏移量未知,则 auto.offset.reset 策略将启动。
    猜你喜欢
    • 2016-12-03
    • 1970-01-01
    • 2014-02-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-10-16
    • 2016-05-29
    相关资源
    最近更新 更多