【问题标题】:Kafka Connect and Custom QueriesKafka Connect 和自定义查询
【发布时间】:2020-08-28 20:26:56
【问题描述】:

我有兴趣使用 Kafka 源 JDBC 连接器来执行向 Kafka 的发布,以便在创建发票时执行。在源端,它分为 2 个表 Invoice 和 InvoiceLine。

这可能吗,使用自定义查询。查询会是什么样子?

此外,自投票以来,发布的内容可能包含一个主题中的一张或多张发票?

谢谢

【问题讨论】:

    标签: apache-kafka apache-kafka-connect kafka-producer-api


    【解决方案1】:

    是的,您可以使用自定义查询。来自docs

    自定义查询:源连接器支持使用自定义查询而不是复制整个表。使用自定义查询,只要可以将必要的WHERE 子句正确附加到查询,就可以使用其他更新自动更新模式之一。或者,指定的查询可以自己处理对新更新的过滤;但是,请注意不会执行偏移跟踪(与自动模式不同,其中为每条记录记录 incrementing 和/或 timestamp 列值),因此查询必须自己跟踪偏移。

    【讨论】:

    • 在此自定义查询中,主题中的消息是否会以 AVRO 模式的形式表示具有多个发票行的发票。或者发票的每一行会有多条消息。如果是后者,是否有一种方法可以将其作为带有发票和多个发票行的单个消息
    猜你喜欢
    • 2020-05-26
    • 2018-05-31
    • 2019-08-08
    • 2021-07-15
    • 2020-01-07
    • 2020-05-01
    • 2018-03-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多