【问题标题】:Kafka-connect topic.prefix without the table nameKafka-connect topic.prefix 不带表名
【发布时间】:2020-01-20 16:51:27
【问题描述】:

我正在使用 jdbc 源连接器,我的表名具有数据库引擎可以接受的特殊字符(即 $),但是当我使用以下配置运行 kafka-connect 时,它会尝试使用此前缀创建 kafka 主题, 加上表名但表名上的特殊字符不一定能被 kafka 接受。是否可以使用静态目标主题名称而不是依赖源表名称?

"topic.prefix":"blah-"

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    我最终使用了如下所示的 kafka 连接转换来使其工作。仍然不确定是否会因为 SMT 而对性能造成任何拖累,但目前可以使用

                "transforms":"dropSomething",
                "transforms.dropPrefix.type":"org.apache.kafka.connect.transforms.RegexRouter",
                "transforms.dropPrefix.regex":"(.*)\\$",
                "transforms.dropPrefix.replacement":"$1"
    

    【讨论】:

      猜你喜欢
      • 2020-07-15
      • 2018-02-19
      • 2020-12-27
      • 2017-03-15
      • 2017-01-16
      • 1970-01-01
      • 2017-04-01
      • 2017-06-17
      • 2021-01-13
      相关资源
      最近更新 更多