【问题标题】:Spring Kafka JDBC Connector compatibilitySpring Kafka JDBC 连接器兼容性
【发布时间】:2020-07-04 12:06:59
【问题描述】:

Kafka JDBC 连接是否与Spring-Kafka 库兼容?

我确实关注了https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector/,但仍然有些困惑。

【问题讨论】:

  • 你有什么困惑?

标签: spring-boot spring-kafka apache-kafka-connect confluent-platform


【解决方案1】:

假设您想从 Kafka 主题消费并写入 JDBC 数据库。您的一些选择是

  • 使用普通的 Kafka 消费者从主题中消费,并使用 Jdbc api 将消费的记录写入数据库。
  • 使用 spring Kafka 从 Kafka Topic 消费和 spring jdbc 模板或 spring 数据将其写入数据库
  • 使用带有 Jdbc 连接器的 Kafka 连接作为接收器来读取主题并写入表。

如你所见

  • Kafka Jdbc 连接器是一个专用组件,只能完成一项工作。
  • Kafka Consumer 是非常通用的组件,它可以完成很多工作,您将编写大量代码。事实上,它将成为其他框架构建和专门化的基础 API。
  • Spring Kafka 简化了它,让您将 kafka 记录作为 java 对象处理,但没有告诉您如何将该对象写入您的数据库。

因此,它们是完成任务的替代解决方案。话虽如此,您可能有一个流程,其中不同的段由不同的团队控制,对于每个段,可以使用其中任何一个,Kafka 主题将充当加入通道

【讨论】:

  • 谢谢卡维思。我的最终目的是一个。从主题 b 中读取。坚持在 db c.使用时间间隔从数据库检索并再次发送到另一个主题。这当然是一个原子事务。你能建议吗?谢谢。
  • 这是一个单独的问题,其他人可能有更好的答案,所以提出单独的问题。我没有遇到过这样的用例。我使用了 1)从 db 读取并写入主题和 2)从该主题读取并将其写入另一个 db。但是在你的用例中,db在中间,我没看懂
猜你喜欢
  • 2021-01-22
  • 2018-05-01
  • 2019-05-01
  • 2017-10-12
  • 2023-04-08
  • 1970-01-01
  • 2013-06-06
  • 2019-06-17
  • 2020-01-11
相关资源
最近更新 更多