Kafka Connect Sink“直通”连接器

Question

kafka jdbc sink 连接器是否支持将其消耗的内容写入不同的主题。我正在寻找一种直通机制，如下图所示。如果没有，我可以链接接收器和源（从接收器写入的位置读取），但不认为这会像性能一样好。也许我可以修改现有的接收器连接器来完成这个？

Topic 1 -> Sink Connector ->  Topic 2
               |
               V
               DB

Answer 1

Connect 框架允许写入死信队列主题以获取导致错误的记录，但 Connect 中没有类似 tee 的功能。

如果您想从接收器写入的内容中读取源，那么您将有两个连接器。

例如，

JDBC_Sink -> DB -> Debezium -> Topic

Answer 2

我建议编写一个简单的 Kafka Streams 应用程序，将主题 1 中的所有内容转发到主题 2。并按原样使用连接器将主题 1 中的内容接收到数据库中。