【发布时间】：2018-06-18 15:25:01
【问题描述】：
我正在使用 Kafka Connect 将数据从 MS SQL Server 表导入到 Apache Kafka 主题。
更改列是一个 json 数组，我想将其展平并发送多个事件。
表格记录如下所示：
id table change
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
3 dbo.Pets {"change":[{"OP":"UPDATE", "Id":"3", "Name":"Rufus","Type":"Cat","Number":"10482638"}, {"OP":"INSERT", "Id":"", "Name":"Misifu","Type":"Reddy","Number":"85745874"}]}
而我喜欢在主题中插入的是：
id table change
-------------------------------------------------------------------------------------------------
3 dbo.Pets {"OP":"UPDATE", "Id":"3", "Name":"Rufus","Type":"Cat","Number":"10482638"}
3 dbo.Pets {"OP":"INSERT", "Id":"", "Name":"Misifu","Type":"Reddy","Number":"85745874"}
有人可以帮助我吗？非常感谢:)
【问题讨论】：
-
您使用的是哪个 Kafka Connect 连接器？
-
Confluent JDBC 连接器docs.confluent.io/current/connect/connect-jdbc/docs/index.html
-
所以 JDBC 连接器是从 SQL Server CDC 表中提取的？如果是这样，您可能想看看如何配置 SQL Server 的 CDC 来拆分事件。 Kafka Connect 只能执行一行 -> 一条消息。
-
触发器在此表中插入数据更改。拆分触发器 slq 代码中的事件是我所做的方法。非常感谢:)
-
请在下面用您的解决方案回答您自己的问题
标签： apache-kafka apache-kafka-connect