【发布时间】:2020-01-25 08:28:57
【问题描述】:
目前我已经在 Kafka JDBC 源连接器属性文件中配置了单个查询,并且它在独立模式下运行。如何在单个属性文件中配置多个查询,并为每个查询分配不同的名称并将其存储在单个主题下。
这是否可行,或者我需要为每个具有相同主题名称的查询构建多个属性文件,并将这些属性文件名添加到以逗号分隔的执行脚本中。
【问题讨论】:
标签: jdbc apache-kafka apache-kafka-connect
目前我已经在 Kafka JDBC 源连接器属性文件中配置了单个查询,并且它在独立模式下运行。如何在单个属性文件中配置多个查询,并为每个查询分配不同的名称并将其存储在单个主题下。
这是否可行,或者我需要为每个具有相同主题名称的查询构建多个属性文件,并将这些属性文件名添加到以逗号分隔的执行脚本中。
【问题讨论】:
标签: jdbc apache-kafka apache-kafka-connect
每个连接器属性只能有一个查询
如果您在分布式模式下运行 Connect,您需要将单独的配置发布到正在运行的 REST API,每个连接器仍然只有一个查询。
例如
connect-distributed connect-distributed.properties
curl -X POST localhost:8083/connectors -d@config1.json
curl -X POST localhost:8083/connectors -d@config2.json
否则,独立模式采用空格分隔的属性文件,而不是逗号分隔
【讨论】:
group.id 属性再次运行 connect-distributed 命令,它们都共享相同的连接器配置,您可以从任何实例使用 API。分布式模式具有可扩展性和容错性,这是在独立模式下使用它的主要原因