【发布时间】:2019-12-27 11:30:51
【问题描述】:
我已经配置了一个 kafka connect Mongodb sink,我想通过实现一些自定义逻辑来转换消息。
Kafka 连接是否仅限于内置 SMT(或)是否可以编写自定义 SMT。如果没有,我怎么能做到这一点?通过流?
【问题讨论】:
标签: apache-kafka apache-kafka-connect
我已经配置了一个 kafka connect Mongodb sink,我想通过实现一些自定义逻辑来转换消息。
Kafka 连接是否仅限于内置 SMT(或)是否可以编写自定义 SMT。如果没有,我怎么能做到这一点?通过流?
【问题讨论】:
标签: apache-kafka apache-kafka-connect
Kafka 连接是否仅限于内置 SMT
不,不是。您可以创建自己的并将它们添加到您的插件路径中
转换被编译为 JAR,并通过 Connect worker 的属性文件中指定的 plugin.path 提供给 Kafka Connect。安装后,可以在连接器属性中配置转换。
https://www.confluent.io/blog/kafka-connect-single-message-transformation-tutorial-with-examples
示例仓库https://github.com/confluentinc/kafka-connect-insert-uuid
或者我自己的https://github.com/OneCricketeer/schema-registry-transfer-smt
【讨论】: