Mirror Maker不会自动制作主题答案

【问题标题】：Mirror Maker not making topic automanticallyMirror Maker不会自动制作主题
【发布时间】：2020-06-22 15:42:30
【问题描述】：

我在 2 个 kafka 集群之间设置了一个镜像制造商。

卡夫卡版：kafka_2.11-2.1.0

我的server.properties 有auto.create.topics.enable=true。

我正在我的目标集群上运行镜像制造商。

但是当源集群添加主题时，新主题不会自动创建。我最终必须手动创建它们。即使在手动创建之后，来自源集群的记录也不会填充到这个新主题中，直到或除非我不重新启动我的镜像制造商。重新启动后，它会立即开始在源上插入数据后进行复制。

镜像制作命令

./kafka-mirror-maker.sh --consumer.config consumer.properties  --producer.config producer.properties  --whitelist '.*'  --num.streams 2

Consumer.properties

bootstrap.servers=!source_host_name_with_port!
group.id=consumer_replicator_group
client.id=mirror_maker_consumer
exclude.internal.topics=true

生产者.properties

bootstrap.servers=!destination_host_name_with_port!
acks=1
batch.size=100
client.id=mirror_maker_producer

请有任何想法。

【问题讨论】：

【解决方案1】：

Kafka 网站上记录了首先在目标上创建主题。如果不这样做，那么您将获得目标集群上的默认分区和复制计数（通常与源主题不匹配）

【讨论】：

我同意，我可以接受，使用默认配置创建，但这对我来说没有发生。目标集群甚至不知道创建了新主题。正如我的问题陈述中提到的，即使在手动创建主题之后，我也必须重新启动镜像制造商，以便它开始同步数据。
我认为不会定期检查白名单以在目标上创建主题。仅用于消耗数据。