【问题标题】:Kafka Sink Connector with one-to-many connection具有一对多连接的 Kafka Sink 连接器
【发布时间】:2020-12-20 19:48:25
【问题描述】:

我的问题是关于 Kafka Sink 连接器的配置。

我有一个具体案例: 有一个主题,其中包含带有实体信息的消息:

{
  "id": 1,
  "name": "name",
  "attributes": {
     "attr1":{ value: val1, type: typ1},
     "attr2":{ value: val2, type: typ2}        
  }
}

我需要 Kafka Sink Connector 通过以下方式将其保存在两个表中:

|id|name|
|1|name|


|parent_id|name|value|type|
|1|attr1|val1|typ1|
|1|attr2|val2|typ2|

所以我需要将它保存在两个表中并保持一对多的连接

Kafka Sink Connector 可以这样计算吗?

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    JDBC Sink connect 只能将一个topic写入一张表。

    您可以分叉代码来对数据做任何您想做的事情,但是,如果您愿意的话

    【讨论】:

    • 您能否详细说明分叉代码?你的意思是两个连接器?
    • 没有。 JDBC 连接器在 Github 上是开源的。下载代码。改变它做任何你想做的事
    猜你喜欢
    • 2019-12-20
    • 1970-01-01
    • 2018-08-03
    • 2019-07-15
    • 2018-06-13
    • 2020-12-11
    • 2018-04-20
    • 2019-01-21
    • 1970-01-01
    相关资源
    最近更新 更多