【问题标题】:Maintaining same consumer group while migrating from Mirror maker 1.0 to Mirror maker 2.0从 Mirror maker 1.0 迁移到 Mirror maker 2.0 时保持相同的消费者组
【发布时间】:2021-03-28 10:51:52
【问题描述】:

正在尝试将镜像制造商 1.0 升级到镜像制造商 2.0,并观察到在关闭镜像制造商 1.0 并启动镜像制造商 2.0 时,消费者开始从头开始接收消息(重复)。发现这个 post 强调了同样的问题。
一种。如何在mirror maker 2.0中传递consumer group name以保持与mirror maker 1.0中使用的consumer group name相同?
湾。如何在mirror maker 2.0中配置auto.offset.reset属性?

【问题讨论】:

    标签: apache-kafka apache-kafka-connect apache-kafka-mirrormaker


    【解决方案1】:

    a) 您不能直接将 MM1 的消费者组与 MM2 重用,因为 MM2 不使用消费者组,它是一个 Kafka Connect 连接器。

    b) auto.offset.reset 目前在 MM2 中不可配置。它将在下一个版本 2.7.0 中进行配置,预计很快就会发布(12 月 17 日,对发布候选者的投票正在进行中)。

    从 2.7.0 开始,可以在您的配置中使用 <alias>.consumer.auto.offset.resetconsumer.auto.offset.reset 进行配置。

    【讨论】:

    • 不使用消费者组,它是一个 Kafka Connect Source 连接器,对吗?接收器确实使用消费者群体
    • 尝试在 mirror-maker 属性中使用 name 来设置消费者组,但是当我列出它们时它没有显示在消费者组中。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-03-22
    • 2017-03-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多