在没有融合的情况下创建 Kafka 连接答案

【问题标题】：Create Kafka connect without confluent在没有融合的情况下创建 Kafka 连接
【发布时间】：2019-11-28 14:30:48
【问题描述】：

我最近开始使用 Kafka，我尝试创建一个 Kafka 连接以连接到 oracle，但我做不到。我找到的信息是关于融合的，但这在 Windows 中不起作用......我如何配置一个或使用 java 创建它？

我用于我的测试独立连接： cmd .\windows\connect-standalone.bat .\config\connect-standalone.properties .\config\connect-bbdd.properties ->

name=jdbc-conector 
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector 
tasks.max=1 
connection.url=dbc:oracle:thin@localhost:xe 
connection.user: user 
connection.password: pwd 
mode = bulk 
topic.prefix=test
table.whitelist: mytable

错误：

WARN The configuration 'offset.flush.interval.ms' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig)
WARN The configuration 'key.converter.schemas.enable' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig)
WARN The configuration 'offset.storage.file.filename' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig)
WARN The configuration 'value.converter.schemas.enable' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig)
 jul 21, 2019 10:36:13 PM org.glassfish.jersey.internal.Errors logErrors
ADVERTENCIA: The following warnings have been detected: WARNING: The (sub)resource method createConnector in 
org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource contains empty path annotation.
WARNING: The (sub)resource method listConnectors in org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource contains 
empty path annotation.
WARNING: The (sub)resource method listConnectorPlugins in org.apache.kafka.connect.runtime.rest.resources.ConnectorPluginsResource 
contains empty path annotation.
WARNING: The (sub)resource method serverInfo in org.apache.kafka.connect.runtime.rest.resources.RootResource contains empty path annotation.
[2019-07-21 22:36:13,886] ERROR Failed to create job for ..\config\connect-bbdd.properties (org.apache.kafka.connect.cli.ConnectStandalone)
[2019-07-21 22:36:13,888] ERROR Stopping after connector error (org.apache.kafka.connect.cli.ConnectStandalone)
Caused by: org.apache.kafka.connect.runtime.rest.errors.BadRequestException: Connector configuration 
is invalid and contains the following 2 error(s):
Invalid value java.sql.SQLException: No suitable driver found for jdbc:oracle:thin@localhost:xe 
for configuration Couldn't open connection to jdbc:oracle:thin@localhost:xe
You can also find the above list of errors at the endpoint `/{connectorType}/config/validate`
at org.apache.kafka.connect.util.ConvertingFutureCallback.result(ConvertingFutureCallback.java:79)
at org.apache.kafka.connect.util.ConvertingFutureCallback.get(ConvertingFutureCallback.java:66)
at org.apache.kafka.connect.cli.ConnectStandalone.main(ConnectStandalone.java:118)

...以及来自“任何类加载器 (org.reflections.Reflections)”的其他错误

【问题讨论】：

Kafka Connect 是 Apache Kafka 的一部分。您要使用哪个连接器？分享您到目前为止所尝试的方法，以及您遇到的错误。
我在 Java 程序中使用了带有数据库连接器的 Kafka 生产者。因此，我尝试将相同的连接器用于 Kafka 连接。

标签： windows apache-kafka-connect oracle-cdc

【解决方案1】：

你得到的这个错误：

No suitable driver found for jdbc:oracle:thin@localhost:xe 
for configuration Couldn't open connection to jdbc:oracle:thin@localhost:xe

是因为您没有使 Oracle JDBC 驱动程序可用。见https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector#jdbc-drivers。

【讨论】：

我已经修好了。我在“瘦”之后需要冒号。 (dbc:oracle:thin:@localhost:xe) 和 jdbc7（我正在使用）不适合我。但是，批量模式不起作用，我需要在我的配置中使用查询。

【解决方案2】：

confluent 命令不能在 Windows 中本地运行，不。

但是connect-distributed 或connect-standalone 不仅在 Confluent 中，而且如果您确实在 Windows 上下载了 Confluent 平台中提供的 JDBC 连接器，它们应该都可以工作和加载。

否则，如果您只有 Apache Kafka，则需要 download JDBC Connector separately 并通过 Connect 配置文件中提到的 plugin.path 属性自行设置。

【讨论】：