【问题标题】:ClassNotFoundException with Kafka consumerClassNotFoundException 与 Kafka 消费者
【发布时间】:2018-11-01 20:19:30
【问题描述】:

我有一个使用 Spring Boot 2.0.2 编写的 Kafka 消费者应用程序。当我在侦听器中收到消息时,我收到以下错误:

Caused by: org.springframework.messaging.converter.MessageConversionException: failed to resolve class name. Class not found [com.test.demo.domain.Account]; nested exception is java.lang.ClassNotFoundException: com.test.demo.domain.Account

Producer 中对象的类名是“com.test.demo.domain.Account”,但消费者中的包和类名不同。

当我重新打包消费者的类名以匹配生产者时,一切正常。但是,我相信我不应该这样做。

有人知道这个问题吗?

==== 已更新 ====

我的生产者代码:

@Bean public ProducerFactory<String, Account> accountProducerFactory() {
    Map<String, Object> configProps = new HashMap<>();
    configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
    configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
    configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class.getName());
    return new DefaultKafkaProducerFactory<>(configProps); }

@Bean public KafkaTemplate<String, Account> accountKafkaTemplate() {
    ProducerFactory<String, Account> factory = accountProducerFactory();

    return new KafkaTemplate<>(factory); }

消费者代码:

public ConsumerFactory<String, Account> accountConsumerFactory() {
    Map<String, Object> configProps = new HashMap<>();
    configProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
    configProps.put(ConsumerConfig.GROUP_ID_CONFIG, groupName);
    configProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
    configProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, BytesDeserializer.class.getName());
    return new DefaultKafkaConsumerFactory<>(configProps);
}

@Bean
public KafkaListenerContainerFactory<?> kafkaJsonListenerContainerFactory() {
    ConcurrentKafkaListenerContainerFactory<String, Account> factory = new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(accountConsumerFactory());
    factory.setMessageConverter(new StringJsonMessageConverter());
    return factory;
}

例外:

org.springframework.kafka.listener.ListenerExecutionFailedException: Listener method could not be invoked with the incoming message
Endpoint handler details:
Method [public void com.kconsumer.accountconsumer.service.AccountConsumer.accountListener(com.kconsumer.accountconsumer.domain.Account)]
Bean [com.kconsumer.accountconsumer.service.AccountConsumer@444cc791]; nested exception is org.springframework.messaging.converter.MessageConversionException: Cannot handle message; nested exception is org.springframework.messaging.converter.MessageConversionException: Cannot convert from [java.lang.String] to [com.kconsumer.accountconsumer.domain.Account] for GenericMessage [payload={"id":"5b079d0b340d9ef2ac9b6f02","name":"test-400","version":0}, headers={kafka_offset=0, kafka_consumer=org.apache.kafka.clients.consumer.KafkaConsumer@6a0a6b0b, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=5b079d0b340d9ef2ac9b6f02, kafka_receivedPartitionId=0, kafka_receivedTopic=ktest, kafka_receivedTimestamp=1527225611820, __TypeId__=[B@2f92e17a}], failedMessage=GenericMessage [payload={"id":"5b079d0b340d9ef2ac9b6f02","name":"test-400","version":0}, headers={kafka_offset=0, kafka_consumer=org.apache.kafka.clients.consumer.KafkaConsumer@6a0a6b0b, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=5b079d0b340d9ef2ac9b6f02, kafka_receivedPartitionId=0, kafka_receivedTopic=ktest, kafka_receivedTimestamp=1527225611820, __TypeId__=[B@2f92e17a}]
    at org.springframework.kafka.listener.adapter.MessagingMessageListenerAdapter.invokeHandler(MessagingMessageListenerAdapter.java:257)

【问题讨论】:

    标签: apache-kafka spring-kafka


    【解决方案1】:

    你是如何反序列化你的 Kafka 记录对象的?如果您使用来自 spring-kafka API 的反序列化器,例如 StringDeserializer、JsonDeserializer.. 我认为不可能更改记录对象的包名。

    如果您自己为 Kafka 记录编写自定义 Serdes,那么您可以通过覆盖 ObjectInputStream 的 readClassDescriptor() 方法在反序列化逻辑中执行此操作。请找到示例代码here。

    【讨论】:

    • 如果我能提供帮助,我会尽量避免使用自定义 SerDes。有关代码,请参阅原始问题中的更新文本。
    • 您使用的是什么 spring-kafka 版本?我在这里github.com/spring-projects/spring-kafka/issues/610 发现了一个类似的问题,Gary Russell 说这个问题在 2.1.3 版本中得到了修复。
    • 它的版本 2.1.6
    【解决方案2】:

    如果您使用@KafkaListener,请使用StringDeserializer 或ByteArrayDserializer 并将StringJsonMessageConverter @Bean 添加到应用程序上下文。

    那么……

    @KafkaListener(...)
    public void listen(Account account) {
        ...
    }
    

    ...将所需的帐户类型传递给转换器。

    见the documentation。

    编辑

    您不需要连接工厂,开机会检测转换器并为您接线。

    这是一个例子:

    @SpringBootApplication
    public class So50478267Application {
    
        public static void main(String[] args) {
            SpringApplication.run(So50478267Application.class, args);
        }
    
        @Bean
        public ApplicationRunner runner(KafkaTemplate<String, Account1> template) {
            return args -> template.send("so50478267", new Account1("foo.inc"));
        }
    
        @KafkaListener(id = "listen", topics = "so50478267")
        public void listen(Account2 account) {
            System.out.println(account);
        }
    
        @Bean
        public StringJsonMessageConverter jsonConverter() {
            return new StringJsonMessageConverter();
        }
    
        @Bean
        public NewTopic topic() {
            return new NewTopic("so50478267", 1, (short) 1);
        }
    
        public static class Account1 {
    
            private final String customer;
    
            public Account1(String customer) {
                this.customer = customer;
            }
    
            public String getCustomer() {
                return this.customer;
            }
    
        }
    
        public static class Account2 {
    
            private String customer;
    
            public Account2() {
                super();
            }
    
            public String getCustomer() {
                return this.customer;
            }
    
            public void setCustomer(String customer) {
                this.customer = customer;
            }
    
            @Override
            public String toString() {
                return "Account2 [customer=" + this.customer + "]";
            }
    
        }
    
    }
    

    和

    spring.kafka.consumer.auto-offset-reset=earliest
    spring.kafka.consumer.enable-auto-commit=false
    
    spring.kafka.producer.value-serializer=org.springframework.kafka.support.serializer.JsonSerializer
    

    【讨论】:

    • 我尝试了您提到的更改,但我不确定我是否正确,因为它仍然会引发异常(请参阅原始问题中的更新文本)。
    • 对不起,我的错误,我认为BytesDeserializer 会产生byte[],但事实并非如此。请参阅我的答案的编辑。
    • 你救了我。谢谢
    猜你喜欢
    • 1970-01-01
    • 2017-11-16
    • 1970-01-01
    • 2017-08-18
    • 2017-10-16
    • 2017-05-31
    • 1970-01-01
    • 2017-03-18
    • 2020-09-19
    相关资源
    最近更新 更多