【问题标题】:Example connector property file to provide standalone Kafka Connect提供独立 Kafka Connect 的示例连接器属性文件
【发布时间】:2021-08-16 11:01:49
【问题描述】:

我开始玩 CDC 和 Kafka 连接

经过无数小时的尝试,我终于明白了其中的逻辑

  1. 使用您的集群信息设置 Kafka Connect 属性 (bin/connect-standalone.sh)
  2. 设置 Kafka Connect 配置文件 (config/connect-standalone.properties)
  3. 从 Debizium 下载您的 Kafka 连接器(在本例中为 MySQL)
  4. 在whatevername.properties 中配置连接器属性

要使用 Kafka 连接器运行工作器,您需要

./bin/connect-standalone.sh config/connect-standalone.properties

哪个答案:

INFO Usage: ConnectStandalone worker.properties connector1.properties [connector2.properties ...] (org.apache.kafka.connect.cli.ConnectStandalone:62)

我知道我们需要运行:

./bin/connect-standalone.sh config/connect-standalone.properties myconfig.properties

我的问题是我找不到任何格式说明或 myconfig.properties 字段的示例。

【附加信息】 Debizium 配置属性列表:

  1. https://docs.confluent.io/debezium-connect-mysql-source/current/mysql_source_connector_config.html#mysql-source-connector-config
  2. https://debezium.io/documentation/reference/1.5/connectors/mysql.html

【问题】 在哪里可以找到连接器属性的示例?

谢谢!

【问题讨论】:

  • 如果你只想使用一个配置来启动worker并且你找到的所有示例都使用json,为什么不使用connect-distributed?

标签: apache-kafka apache-kafka-connect debezium


【解决方案1】:

我不确定我是否理解您的问题,但这里是此连接器的属性示例:

connector.class=io.debezium.connector.mysql.MySqlConnector
connector.name=someuniquename
database.hostname=192.168.99.100
database.port=3306
database.user=debezium-user 
database.password=debezium-user-pw
database.server.id=184054
database.server.name=fullfillment
database.include.list=inventory
database.history.kafka.bootstrap.servers=kafka:9092 
database.history.kafka.topic=dbhistory.fullfillment
include.schema.changes=true

原始配置是我从 json 转换为属性的文档中的配置:https://debezium.io/documentation/reference/1.5/connectors/mysql.html#mysql-example-configuration

【讨论】:

  • 正确,我也发现了,但我不确定:1.是否需要是JSON或那种格式。尝试使用连接器后,它抱怨:不包含连接器类型。我有连接器和路径等等。
  • @David 独立模式采用 Java .properties 文件,而不是像分布式模式那样的 JSON。关于未找到连接器类的任何错误确实是您的plugin.path 的问题
  • @Lucas,我​​了解到,如果您是独立使用,则需要使用 .txt 格式的文件。如果您使用的是 Kafka 集群,那么您将需要 JSON 文件。
猜你喜欢
  • 2020-11-08
  • 2017-10-02
  • 1970-01-01
  • 2019-06-22
  • 2021-01-13
  • 2020-05-11
  • 2020-12-26
  • 2019-06-17
  • 2020-08-05
相关资源
最近更新 更多