【发布时间】:2019-04-05 16:42:38
【问题描述】:
如果主题不存在(但作为目标提供)或无法将消息复制到主题,Kafka Connect 是否会即时创建主题?
我至少需要即时或以编程方式(Java API)创建此类主题,而不是手动使用脚本。
我搜索了此信息,但似乎必须在迁移之前创建主题
【问题讨论】:
标签: apache-kafka kafka-producer-api apache-kafka-connect
如果主题不存在(但作为目标提供)或无法将消息复制到主题,Kafka Connect 是否会即时创建主题?
我至少需要即时或以编程方式(Java API)创建此类主题,而不是手动使用脚本。
我搜索了此信息,但似乎必须在迁移之前创建主题
【问题讨论】:
标签: apache-kafka kafka-producer-api apache-kafka-connect
Kafka Connect 并不能真正控制这一点。
Kafka 中有一个设置可以启用/禁用自动创建主题。
如果开启 - Kafka Connect 将创建自己的主题,如果没有 - 您必须自己创建主题。
【讨论】:
默认情况下,当消费者订阅不存在的主题时,Kafka 不会创建新主题。您应该在 Kafka 服务器配置文件 中启用auto.create.topics.enable=true,它可以在服务器上自动创建主题。
启用此功能后,Kafka 将自动动态创建主题。当应用程序尝试连接到不存在的主题时,Kafka 会自动创建该主题。
【讨论】: