【问题标题】:Unable to deploy debezium mysql connector using Confluent docker无法使用 Confluent docker 部署 debezium mysql 连接器
【发布时间】:2020-08-28 10:10:25
【问题描述】:

我尝试运行 confluent 的 docker 映像以启动与 Debezium MYSQL 连接器的连接服务,但在运行 docker 后未能获取加载的类。

Docker 命令

docker run -d \
    --name=kafka-connect \
    --net=host \
    -e CONNECT_BOOTSTRAP_SERVERS="b-2.<bootstrap_server>.us-east-1.amazonaws.com:9092,b-3.<bootstrap_server>.us-east-1.amazonaws.com:9092,b-1.<bootstrap_server>.us-east-1.amazonaws.com:9092" \
    -e CONNECT_REST_PORT=8083 \
    -e CONNECT_PLUGIN_PATH="/usr/share/java,/tmp/connectors" \
    -e CONNECT_GROUP_ID="quickstart" \
    -e CONNECT_CONFIG_STORAGE_TOPIC="quick-config" \
    -e CONNECT_OFFSET_STORAGE_TOPIC="quick-offsets" \
    -e CONNECT_STATUS_STORAGE_TOPIC="quick-status" \
    -e CONNECT_KEY_CONVERTER="org.apache.kafka.connect.json.JsonConverter" \
    -e CONNECT_VALUE_CONVERTER="org.apache.kafka.connect.json.JsonConverter" \
    -e CONNECT_INTERNAL_KEY_CONVERTER="org.apache.kafka.connect.json.JsonConverter" \
    -e CONNECT_INTERNAL_VALUE_CONVERTER="org.apache.kafka.connect.json.JsonConverter" \
    -e CONNECT_REST_ADVERTISED_HOST_NAME="ec2-<public_ip>.compute-1.amazonaws.com" \
    -v /opt/connectors:/tmp/connectors \
    confluentinc/cp-kafka-connect:3.1.2

卷(-v)中使用的My Instance目录文件如下:

ubuntu@ip-<hostname>:/opt/connectors$ ls
debezium-connect-jdbc

下面的命令测试是否加载了 Debezium Mysql 驱动类

curl -s http://ec2-<public_ip>.compute-1.amazonaws.com:8083/connector-plugins | jq .

运行上述命令后,我没有看到下面提到的 Debezium Mysql 连接器类

io.debezium.connector.mysql.MySqlConnector

【问题讨论】:

    标签: docker apache-kafka apache-kafka-connect confluent-schema-registry debezium


    【解决方案1】:

    您的问题是 Kafka Connect 版本太旧:confluentinc/cp-kafka-connect:3.1.2ships 使用 0.10.1.1 版本,但 Classloading Isolation in Connect 仅在 0.11.0 中实现。

    请使用较新的images

    【讨论】:

      猜你喜欢
      • 2021-07-02
      • 2021-05-11
      • 2022-10-25
      • 2021-08-25
      • 2020-03-02
      • 2021-01-05
      • 1970-01-01
      • 1970-01-01
      • 2019-02-16
      相关资源
      最近更新 更多