【发布时间】:2020-05-10 00:49:12
【问题描述】:
我正在尝试使用 MirrorMaker 2.0 复制 Kafka 集群。 我正在使用以下 mm2.properties:
# mm2.properties
clusters=source, dest
source.bootstrap.servers=kafka-1:9092,kafka-2:19092,kafka-3:29092
dest.bootstrap.servers=kafka-4:39092,kafka-5:49092,kafka-6:59092
source->dest.enabled=true
我可以看到,当 MirrorMaker 启动时,它会创建自己的主题。例如,它在源集群上创建:mm2-configs.dest.internal,内容如下:
{
"properties":{
"connector.class":"org.apache.kafka.connect.mirror.MirrorSourceConnector",
"source.cluster.producer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"source.cluster.alias":"dest",
"source.cluster.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"target.cluster.producer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"enabled":"false",
"target.cluster.admin.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"target.cluster.alias":"source",
"target.cluster.consumer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"name":"MirrorSourceConnector",
"target.cluster.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"source.cluster.admin.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"source.cluster.consumer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092"
}
}
在目标集群 mm2-configs.source.internal 主题中包含以下内容:
{
"properties":{
"connector.class":"org.apache.kafka.connect.mirror.MirrorSourceConnector",
"source.cluster.producer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"source.cluster.alias":"source",
"source.cluster.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"target.cluster.producer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"enabled":"true",
"target.cluster.admin.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"target.cluster.alias":"dest",
"target.cluster.consumer.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"name":"MirrorSourceConnector",
"target.cluster.bootstrap.servers":"kafka-4:39092,kafka-5:49092,kafka-6:59092",
"source.cluster.admin.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092",
"source.cluster.consumer.bootstrap.servers":"kafka-1:9092,kafka-2:19092,kafka-3:29092"
}
}
但是当我尝试向源集群 (kafka-1,kafka-2,kafka-3) 发送消息时 - 没有任何内容复制到第二个集群。
我错过了什么?
感谢任何帮助 谢谢,
【问题讨论】:
-
开始更简单怎么样?删除 Docker。每个物理主机运行一个代理?
-
@cricket_007 因为我只有笔记本电脑,你的意思是在虚拟机上?而且,顺便说一句,旧的 MirrorMaker (1.x) 可以与 docker 配合使用
-
任何东西都可以与 Docker 一起工作,当然。我的意思是你应该创建一个minimal reproducible example
-
@cricket_007 我明白你的意思:) 但是我只有一台物理计算机(我的笔记本电脑),我至少需要两台,我认为 Docker 是解决这个问题的方法。但我会只尝试一个经纪人,谢谢
标签: apache-kafka apache-kafka-connect apache-kafka-mirrormaker