【问题标题】:How to configure multiple custom queries in Single Kafka Connector property file如何在单个 Kafka 连接器属性文件中配置多个自定义查询
【发布时间】:2020-01-25 08:28:57
【问题描述】:

目前我已经在 Kafka JDBC 源连接器属性文件中配置了单个查询,并且它在独立模式下运行。如何在单个属性文件中配置多个查询,并为每个查询分配不同的名称并将其存储在单个主题下。

这是否可行,或者我需要为每个具有相同主题名称的查询构建多个属性文件,并将这些属性文件名添加到以逗号分隔的执行脚本中。

【问题讨论】:

    标签: jdbc apache-kafka apache-kafka-connect


    【解决方案1】:

    每个连接器属性只能有一个查询

    如果您在分布式模式下运行 Connect,您需要将单独的配置发布到正在运行的 REST API,每个连接器仍然只有一个查询。

    例如

    connect-distributed connect-distributed.properties 
    curl -X POST localhost:8083/connectors -d@config1.json
    curl -X POST localhost:8083/connectors -d@config2.json
    

    否则,独立模式采用空格分隔的属性文件,而不是逗号分隔

    【讨论】:

    • 感谢您的回复,我想以分布式模式运行连接器,在这种情况下如何配置 SQL 查询。我是否需要在所有连接器(如 Logstash JDBC 输入插件)中运行相同的属性文件。你能帮我解决这个问题吗
    • 它仍然是单独的配置,只是 JSON 而不是属性文件。完全相同的键值对
    • 你的意思是当我在分布式模式下运行连接器时,我需要使用 json 格式的连接和查询详细信息进行 rest api 调用。为什么我不能用每台机器上的属性文件分别启动工人。你能解释一下吗
    • 我不确定我是否理解这个问题。您无法使用连接器启动分布式模式。您只需使用工作器配置文件启动它。要添加连接器,请使用 API。要创建集群,您将使用与其他工作人员匹配的 group.id 属性再次运行 connect-distributed 命令,它们都共享相同的连接器配置,您可以从任何实例使用 API。分布式模式具有可扩展性和容错性,这是在独立模式下使用它的主要原因
    • 嗨谢谢..现在我明白了。在分布式模式下,worker 是单独启动的,而不是与连接器配置文件一起启动。今天我创建了两个工人,你能告诉我这两个工人应该在同一个还是不同的端口上运行,下面的两个工人都使用相同的 group-id。工作人员如何在这里处理集群,因为我通过使用 REST API localhost:8083/connectors 创建连接器,这个连接器将如何由两个工作人员管理
    猜你喜欢
    • 2018-08-03
    • 2019-08-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-30
    • 2020-05-28
    • 1970-01-01
    • 2022-01-06
    相关资源
    最近更新 更多