【问题标题】:Unable to run connect-distributed.sh无法运行 connect-distributed.sh
【发布时间】:2021-05-03 01:29:34
【问题描述】:

执行命令时出现以下错误。我的 kafka 消息没有流入 hdfs

/bin/connect-distributed.sh /etc/schema-registry/connect-avro-distributed.properties /kafka-connect/quickstart-hdfs.properties

 ERROR Failed to start task local-file-source-0 (org.apache.kafka.connect.runtime.Worker:456)
org.apache.kafka.common.config.ConfigException: Invalid value io.confluent.kafka.serializers.subject.TopicNameStrategy for configuration key.subject.name.strategy: Class io.confluent.kafka.serializers.subject.TopicNameStrategy could not be found.
        at org.apache.kafka.common.config.ConfigDef.parseType(ConfigDef.java:718)
        at org.apache.kafka.common.config.ConfigDef$ConfigKey.<init>(ConfigDef.java:1063)
        at org.apache.kafka.common.config.ConfigDef.define(ConfigDef.java:148)
        at org.apache.kafka.common.config.ConfigDef.define(ConfigDef.java:168)
        at org.apache.kafka.common.config.ConfigDef.define(ConfigDef.java:207)
        at org.apache.kafka.common.config.ConfigDef.define(ConfigDef.java:369)
        at org.apache.kafka.common.config.ConfigDef.define(ConfigDef.java:382)
        at io.confluent.kafka.serializers.AbstractKafkaSchemaSerDeConfig.baseConfigDef(AbstractKafkaSchemaSerDeConfig.java:153)
        at io.confluent.connect.avro.AvroConverterConfig.<init>(AvroConverterConfig.java:27)
        at io.confluent.connect.avro.AvroConverter.configure(AvroConverter.java:63)
        at org.apache.kafka.connect.runtime.isolation.Plugins.newConverter(Plugins.java:263)
        at org.apache.kafka.connect.runtime.Worker.startTask(Worker.java:434)
        at org.apache.kafka.connect.runtime.distributed.DistributedHerder.startTask(DistributedHerder.java:865)
        at org.apache.kafka.connect.runtime.distributed.DistributedHerder.access$1600(DistributedHerder.java:110)
        at org.apache.kafka.connect.runtime.distributed.DistributedHerder$13.call(DistributedHerder.java:880)
        at org.apache.kafka.connect.runtime.distributed.DistributedHerder$13.call(DistributedHerder.java:876)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

【问题讨论】:

    标签: apache-kafka hdfs


    【解决方案1】:

    connect-distributed只需要一个属性文件,而不是两个。快速入门文件旨在与独立连接一起使用

    您收到的有关主题名称策略的实际错误可能是您使用的 Avro 序列化程序版本的问题/错误

    【讨论】:

    • 嗨,谢谢您提供的信息。即使只运行一个文件,我仍然会收到错误。
    • 就像我说的,这可能是您使用的 Avro 序列化程序的问题。如果您有全新安装/正在使用最新版本 github.com/confluentinc/schema-registry/issues,您应该尝试在此处报告
    猜你喜欢
    • 2021-06-24
    • 2014-03-17
    • 1970-01-01
    • 1970-01-01
    • 2023-04-01
    • 2022-07-25
    • 2023-02-01
    • 2014-08-15
    • 1970-01-01
    相关资源
    最近更新 更多