Apache Kafka Connect VS Kafka Connect 的融合连接器答案

【问题标题】：apache Kafka Connect VS confluent connector for Kafka ConnectApache Kafka Connect VS Kafka Connect 的融合连接器
【发布时间】：2021-01-13 17:52:02
【问题描述】：

使用 apache kafka connect api 和 confluent kafka connect api 有什么区别？任何人都可以分享将 MYSql DB 连接到 Kafka 主题的代码吗？

【问题讨论】：

这个post 可能有助于理解connect-api 没有区别。
“Confluent Kafka”不存在。 Confluent Platform 只是提供了一个捆绑包。就像“Anaconda”完全不是一个不同的 Python。

标签： apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

正如 mike 所说，Apache kafka connect 和 confluent kafka connect 之间没有核心区别。

如果你不想写任何代码，使用Kafka连接jdbc从mysql db中读取数据并发送到kafka topic。

如需在笔记本电脑上进行快速演示，请按照以下主要步骤操作：

下载 Apache Kafka
运行单个 Kafka 代理
从融合站点下载 kafka-connect-jdbc
将 lib/*.jar 从 kafka-connect-jdbc 复制到 Kafka libs 文件夹
将 mysql 驱动复制到 Kafka libs 文件夹中
创建 jdbc 源连接器配置文件
使用 jdbc 源连接器配置以独立模式运行 Kafka 连接 $KAFKA_HOME/bin/connect-standalone.sh ../config/connect-standalone.properties ../config/jdbc-connector-config.properties

有用的链接

https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector/ https://docs.confluent.io/current/connect/kafka-connect-jdbc/index.html

如果你想写代码，那就学习 kafka producer api 用法。 https://docs.confluent.io/current/clients/producer.html https://kafka.apache.org/documentation/#producerapi

【讨论】：

您能否提供任何参考，我可以在其中找到 scala/java 代码以将 MYSQL 连接到 KAFKA 以进行实时流式传输？我找不到任何 scala/java 代码。
@OneCricketeer Confluent 连接器仅使用配置文件。我需要使用 Scala 代码实现 Kafka 和 MYSQL 连接。
@AbhinavKumar Kafka Connect 不是 Confluent 特有的，都是编写的，可以从 JVM 代码中调用（参考 Kafka 源代码中的ConnectStandalone.java）