【问题标题】:Kafka Mirror Maker not Replicating topics when source and destination clusters are not in the same configuration当源集群和目标集群不在同一配置中时,Kafka Mirror Maker 不复制主题
【发布时间】:2020-04-04 11:59:27
【问题描述】:

当源和目标设置不同时(源 = 2 个服务器,目标 = 3 个服务器),我们设置了 Mirror Maker 在两个 kafka 集群之间复制主题。 启动 MirrorMaker 时会引发以下错误: “错误:NOT_ENOUGH_REPLICAS (org.apache.kafka.clients.producer.internals.Sender)”并且集群之间没有复制。 我们使用了 MirrorMaker 版本 2。

谁能提供一些建议,为什么它没有按预期工作?

【问题讨论】:

  • 如果您使用相同的集群大小,它是否有效,例如2 台服务器用于源和目标?
  • 请显示您的配置文件。该错误表明未满足目标集群的最低 ISR

标签: apache-kafka apache-kafka-connect kafka-producer-api apache-kafka-mirrormaker


【解决方案1】:

Mirrormaker 2.0 文档仅在新的 2.5.0 版本中提供 - 这使得设置 Mirrormaker 2.0 非常困难。基本上我认为您需要将复制因子(在 Kafka 中默认为 3)设置为 2,因为这是一个集群的最小值。这些是您可能需要设置的配置值:

  • checkpoints.replication.factor
  • heartbeats.replication.factor
  • offset-syncs.replication.factor
  • config.storage.replication.factor
  • offset.storage.replication.factor
  • status.storage.replication.factor
  • replication.factor
  • offsets.replication.factor
  • transaction.state.log.replication.factor

您可以在 MM2 配置文件中设置这些。

【讨论】:

    猜你喜欢
    • 2022-12-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-22
    • 1970-01-01
    • 2017-01-19
    • 2019-02-27
    • 1970-01-01
    相关资源
    最近更新 更多