Kafka 不消费消息答案

【问题标题】：Kafka does not consume messagesKafka 不消费消息
【发布时间】：2019-06-23 15:11:38
【问题描述】：

我已将我的 kafka 从版本 0.10.2.0 更新到版本 2.1.0，现在 kafka 无法使用消息。我正在使用 Spring Boot，这是我的配置：

configProperties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaServers);
configProperties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
configProperties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
configProperties.put(ConsumerConfig.GROUP_ID_CONFIG, topic + "kafka2");
configProperties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
configProperties.put(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG, 3000000);
configProperties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
configProperties.put(ConsumerConfig.FETCH_MAX_BYTES_CONFIG, 2000000000);
configProperties.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, "900000");
configProperties.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "905000");
configProperties.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "35000");

我已更改群组 ID，以避免旧群组 ID 出现问题。我当前的 spring 版本是 2.1.2.RELEASE。在我的应用程序中，我可以看到我的客户端如何不断地重新连接

你知道这个问题吗？

【问题讨论】：

没有0.1.0。什么启动版本？打开 DEBUG 日志以查看它是否有助于查看问题所在。
对不起，我的客户端是0.10.2.0，我当前的spring版本是2.1.2.RELEASE。在我的应用程序中，我可以看到我的客户端如何不断地重新连接

标签： apache-kafka kafka-consumer-api spring-kafka

【解决方案1】：

在谈论“春季版本”时，您应该更加具体。有很多不同版本的spring项目。

我猜你的意思是 Spring Boot 是 2.1.2（顺便说一下，当前的 2.1.x 版本是 2.1.6）。

Spring Boot 2.1.6 将 Spring 用于 Apache Kafka 2.2.7，而后者又使用 kafka-clients 2.0.1。

我认为使用 2.1.0 代理的 2.0.x kafka-clients 不会出现任何问题，但您可以尝试将 kafka 客户端版本覆盖为 2.1.0，如 described in the reference manual。

再次，我建议为apache.kafka 启用调试日志记录，看看它是否为您提供了更多信息。

【讨论】：