【问题标题】:Kafka Connect writes data to non-existing topicKafka Connect 将数据写入不存在的主题
【发布时间】:2019-04-05 16:42:38
【问题描述】:

如果主题不存在(但作为目标提供)或无法将消息复制到主题,Kafka Connect 是否会即时创建主题?

我至少需要即时或以编程方式(Java API)创建此类主题,而不是手动使用脚本。

我搜索了此信息,但似乎必须在迁移之前创建主题

【问题讨论】:

    标签: apache-kafka kafka-producer-api apache-kafka-connect


    【解决方案1】:

    Kafka Connect 并不能真正控制这一点。

    Kafka 中有一个设置可以启用/禁用自动创建主题。

    如果开启 - Kafka Connect 将创建自己的主题,如果没有 - 您必须自己创建主题。

    【讨论】:

    • 在分布式模式配置中,它创建了 3 个主题,用于使用 AdminClient API 存储偏移量、配置和状态。可以禁用自动创建主题,它仍然适用于这些主题,只是不适用于源连接器主题。不过,不确定这是否仅在最新版本中可用
    【解决方案2】:

    默认情况下,当消费者订阅不存在的主题时,Kafka 不会创建新主题。您应该在 Kafka 服务器配置文件 中启用auto.create.topics.enable=true,它可以在服务器上自动创建主题。

    启用此功能后,Kafka 将自动动态创建主题。当应用程序尝试连接到不存在的主题时,Kafka 会自动创建该主题。

    【讨论】:

      猜你喜欢
      • 2018-09-16
      • 2019-04-23
      • 2020-01-16
      • 1970-01-01
      • 2017-07-20
      • 2019-07-02
      • 2017-11-28
      • 2020-09-14
      • 1970-01-01
      相关资源
      最近更新 更多