【问题标题】:Kafka-connect topic.prefix without the table nameKafka-connect topic.prefix 不带表名
【发布时间】:2020-01-20 16:51:27
【问题描述】:
我正在使用 jdbc 源连接器,我的表名具有数据库引擎可以接受的特殊字符(即 $),但是当我使用以下配置运行 kafka-connect 时,它会尝试使用此前缀创建 kafka 主题, 加上表名但表名上的特殊字符不一定能被 kafka 接受。是否可以使用静态目标主题名称而不是依赖源表名称?
"topic.prefix":"blah-"
【问题讨论】:
标签:
apache-kafka
apache-kafka-connect
【解决方案1】:
我最终使用了如下所示的 kafka 连接转换来使其工作。仍然不确定是否会因为 SMT 而对性能造成任何拖累,但目前可以使用
"transforms":"dropSomething",
"transforms.dropPrefix.type":"org.apache.kafka.connect.transforms.RegexRouter",
"transforms.dropPrefix.regex":"(.*)\\$",
"transforms.dropPrefix.replacement":"$1"