如何使用 Confluent Kafka JDBC 源连接器从亚马逊 EC2 实例中提取数据？答案

【问题标题】：How to pull data from amazon EC2 instance using Confluent Kafka JDBC source connector?如何使用 Confluent Kafka JDBC 源连接器从亚马逊 EC2 实例中提取数据？
【发布时间】：2019-04-06 15:27:08
【问题描述】：

我的本地机器上有融合平台我只是想从 aws ec2 实例读取数据我有主机名、数据库名称、密码等凭据。我正在使用 JDBC 源连接器。连接器配置是

name=test
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector 
connection.url=jdbc:mysql://ab.bca.bdc.aaa:abcd/DB?user=abc&password=bca
table.whitelist=ppp
mode=incrementing

运行独立连接后出现类似

的错误

Invalid value java.sql.SQLNonTransientConnectionException: Cannot load connection class because of underlying exception: com.mysql.cj.exceptions.WrongArgumentException: Malformed database URL, failed to parse the connection string near

【问题讨论】：

尝试使用另一个具有完全相同连接字符串的 JDBC 工具...Malformed database URL 不是 Kafka Connect 问题
您能否详细说明我不明白。使用 mysql 连接器版本 8。
我不是在谈论版本。该错误非常清楚地表明该 URL 格式错误，这不是 Kafka Connect 可以单独修复的问题。如果您将完全相同的 URL 复制到其他使用 JDBC 的 Java 代码中，您应该会看到相同的错误，这就是我要求您尝试的错误

标签： mysql amazon-ec2 apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

根据the JDBC MySQL syntax，用户和密码在数据库地址之前以冒号分隔，而不是在之后

user:password@host_or_host_sublist

不确定使用 RDS 或您自己的 EC2 数据库是否会改变其语法

但是，如果您想捕获所有数据库事件，Debezium (your old question) 将是您想要的。使用 JDBC 连接器不会捕获删除（或在轮询之间创建和删除的事件）并给您的数据库带来不必要的压力

【讨论】：