【问题标题】:kafka Consumer Upgrade to .9kafka 消费者升级到 .9
【发布时间】:2016-08-31 09:01:00
【问题描述】:

您好,我正在将 kafka 升级到 .9,并将 kafka 消费者升级到 .9 发布的新 Java 消费者。 升级时,我使用现有主题,步骤只是停止 .8 kafka 并启动指向相同 log.dirs 的 .9 kafka,在消费者端,我使用相同的组名和主题名,但新消费者正在从主题中的起始位置再次使用消息。我已经在 0.8 中提交了它们。 我正在添加 auto.offset.reset = early。

知道为什么会这样,或者我们需要首先使用 .8 消费者消费所有消息,然后让延迟变为 0。 谢谢 晴天

【问题讨论】:

    标签: apache-kafka kafka-consumer-api


    【解决方案1】:

    虽然 0.8 个消费者将偏移量存储在 Zookeeper 中,但 0.9 个消费者将它们存储在特定的 Kafka 主题中。因此,0.9 消费者通常不会看到 0.8 消费者存储的任何偏移量,因此将从头开始消费。有一个FAQ 可能有助于迁移偏移量。引用:

    1) 升级您的代理并设置 dual.commit.enabled=false 和 offsets.storage=zookeeper(仅向 Zookeeper 提交偏移量)。

    2) 设置 dual.commit.enabled=true 和 offsets.storage=kafka 并重新启动(向 Zookeeper 和 Kafka 提交偏移量)。

    3) 设置 dual.commit.enabled=false 和 offsets.storage=kafka 并重新启动(仅将偏移量提交到 Kafka)。

    (没试过,只是引用。)

    【讨论】:

    • 我试图跟随,但没有运气 :( 你看到任何其他问题
    • "no lucky" 并不是一个具体的错误描述。请用您所做的和发生的事情更新您的问题。
    • 没有错误,和问题一样。我有 .8 消费者和 8.2.1 kafka,我正在升级
    • 没有错误,和问题一样。让我重复我的问题。我有 .8 消费者和 8.2.1 kafka,我正在将其升级到 .9 java 消费者和 .9 kafka,我验证 8.2.1 kafka 使用 zookeeper 作为“偏移存储”我按照上述步骤操作,我将 kafka 更新为.9 指向与 .8 相同的日志目录,然后重新启动 .8 消费者,它正在消耗所有日志,无论偏移量如何谢谢
    • 我将第一个点应用于我的一个消费者,它正在消费来自主题的所有消息,即使它们已提交。
    猜你喜欢
    • 2016-06-24
    • 2019-04-25
    • 2016-09-01
    • 2017-07-10
    • 2017-01-04
    • 2015-06-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多