【问题标题】:kafka MirrorMaker 2.0 does not replicate datakafka MirrorMaker 2.0 不复制数据
【发布时间】:2020-05-10 00:49:12
【问题描述】:

我正在尝试使用 MirrorMaker 2.0 复制 Kafka 集群。 我正在使用以下 mm2.properties:

# mm2.properties
clusters=source, dest

source.bootstrap.servers=kafka-1:9092,kafka-2:19092,kafka-3:29092
dest.bootstrap.servers=kafka-4:39092,kafka-5:49092,kafka-6:59092

source->dest.enabled=true

我可以看到,当 MirrorMaker 启动时,它会创建自己的主题。例如,它在源集群上创建:mm2-configs.dest.internal,内容如下:

{
   "properties":{
      "connector.class":"org.apache.kafka.connect.mirror.MirrorSourceConnector",
      "source.cluster.producer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "source.cluster.alias":"dest",
      "source.cluster.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "target.cluster.producer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "enabled":"false",
      "target.cluster.admin.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "target.cluster.alias":"source",
      "target.cluster.consumer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "name":"MirrorSourceConnector",
      "target.cluster.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "source.cluster.admin.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "source.cluster.consumer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092"
   }
}

在目标集群 mm2-configs.source.internal 主题中包含以下内容:

{
   "properties":{
      "connector.class":"org.apache.kafka.connect.mirror.MirrorSourceConnector",
      "source.cluster.producer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "source.cluster.alias":"source",
      "source.cluster.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "target.cluster.producer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "enabled":"true",
      "target.cluster.admin.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "target.cluster.alias":"dest",
      "target.cluster.consumer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "name":"MirrorSourceConnector",
      "target.cluster.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
      "source.cluster.admin.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
      "source.cluster.consumer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092"
   }
}

但是当我尝试向源集群 (kafka-1,kafka-2,kafka-3) 发送消息时 - 没有任何内容复制到第二个集群。

我错过了什么?

感谢任何帮助 谢谢,

【问题讨论】:

  • 开始更简单怎么样?删除 Docker。每个物理主机运行一个代理?
  • @cricket_007 因为我只有笔记本电脑,你的意思是在虚拟机上?而且,顺便说一句,旧的 MirrorMaker (1.x) 可以与 docker 配合使用
  • 任何东西都可以与 Docker 一起工作,当然。我的意思是你应该创建一个minimal reproducible example
  • @cricket_007 我明白你的意思:) 但是我只有一台物理计算机(我的笔记本电脑),我至少需要两台,我认为 Docker 是解决这个问题的方法。但我会只尝试一个经纪人,谢谢

标签: apache-kafka apache-kafka-connect apache-kafka-mirrormaker


【解决方案1】:

您的配置文件看起来不错。但是,那些引导服务器端口看起来不正常。 19092、29092 等。通常仅限9092。你能试着把它们改回9092吗?

【讨论】:

  • 嗨,谢谢。我在 docker 中运行所有这些。似乎 MirrorMaker 成功与 Kafka 交互,因为它创建了内部主题
【解决方案2】:

我想,我(在我朋友的帮助下)找到了问题所在。如果主题在启动 MirrorMaker 之前 NOT 存在,则不会发生复制。主题应该存在于源 Kafka 集群中。

我使用了启用了主题自动创建的 Java 生产者。似乎,自动主题创建不会触发 MirrorMaker 开始复制。

我真的不知道定义source->dest.enabled=true 时是否按设计 行为,或者可能与几天前解决的错误有关:https://github.com/apache/kafka/pull/7745。

【讨论】:

    【解决方案3】:

    mm2 在独立(单节点)模式下运行良好,但在集群方面存在错误。

    详细信息已在此处报告: https://cwiki.apache.org/confluence/display/KAFKA/KIP-710%3A+Full+support+for+distributed+mode+in+dedicated+MirrorMaker+2.0+clusters

    【讨论】:

    • 这并不能真正回答问题。如果您有其他问题,可以点击 提问。要在此问题有新答案时收到通知,您可以follow this question。一旦你有足够的reputation,你也可以add a bounty 来引起对这个问题的更多关注。 - From Review
    • 嗯,为什么它没有真正回答这个问题?问题是它没有将数据镜像到 dest 集群,这在我放入的链接中进行了全面描述。有一种解决方法是每次创建新主题时重新启动 mm2,以便数据将在 dest 主题上同步
    猜你喜欢
    • 2020-05-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-06-13
    • 2020-12-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多