【问题标题】:How to connect MySQL to Kafka cluster如何将 MySQL 连接到 Kafka 集群
【发布时间】:2021-04-16 13:25:31
【问题描述】:

我正在尝试学习 kafka 技术,我想在我的电脑中设置一个小管道,它将从 mysql 获取数据并将它们解析到 kafka 集群中。

对于我进行的一项小型研究,我发现最好的方法是 KAFKA CONNECTOR。 有人可以提供有关如何实现上述逻辑的提示或信息吗?

【问题讨论】:

  • MySQL->Kafka bit 具体的例子可以参考thisHere's an example 将来自 MySQL 的数据流数据与直接生成到 Kafka 的数据结合起来,并一起处理。
  • 你也可以使用debezium

标签: mysql apache-kafka apache-kafka-connect


【解决方案1】:

最简单的方法是使用 JDBC 源连接器将数据从 MySQL 服务器拉到 Kafka 主题以进行进一步处理。请找到Confluent JDBC source connector 的链接。请查看连接器提供的各种配置,以便更好地对齐数据以进行后续处理。

【讨论】:

  • 我觉得因为管道架构是MySql -> Kafka,所以需要JDBC源连接器。我错了吗?
猜你喜欢
  • 2021-03-10
  • 2020-09-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-08-16
  • 2020-10-10
  • 2019-07-31
  • 2021-07-29
相关资源
最近更新 更多