【问题标题】:Kafka Error reading field 'correlation_id': java.nio.BufferUnderflowExceptionKafka 错误读取字段“correlation_id”:java.nio.BufferUnderflowException
【发布时间】:2020-12-18 21:16:45
【问题描述】:

在消费者上获取此 kafka 异常:

org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'correlation_id': java.nio.BufferUnderflowException
at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
at org.apache.kafka.common.requests.ResponseHeader.parse(ResponseHeader.java:53)
at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:435)
at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.clientPoll(ConsumerNetworkClient.java:320)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:213)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:193)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.awaitMetadataUpdate(ConsumerNetworkClient.java:134)
at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureCoordinatorKnown(AbstractCoordinator.java:184)
at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:886)
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:853)

没有客户端-服务器版本不匹配。

【问题讨论】:

    标签: java apache-kafka kafka-consumer-api


    【解决方案1】:

    确保您的客户端连接到真正的 Kafka 端口!

    此特定错误发生在解析(其中一个?)预期 kafka 消息的第一个 标头字段 时,如堆栈中 ResponseHeader.java 的调用所示 -跟踪。

    因此,如果您针对与 kafka 服务器无关的侦听端口,则可能会发生这种情况。

    只需 1 分钟检查!

    否则,您应该检查客户端-服务器版本不匹配。

    【讨论】:

      【解决方案2】:

      对我来说,除了上述异常,我遇到了单元测试失败的问题。当我检查本地机器上使用的端口(9092)时,它绑定到已经运行的进程,值得检查是否有本地运行的Kafka进程。如果您确定您不希望它运行,请通过找到它的 pid 来杀死它。

      (尽管不要尝试生产:P)

      lsof -i:9092
      kill -9 <PID_FROM_ABOVE_IF_ANY>
      

      【讨论】:

        猜你喜欢
        • 2016-09-30
        • 2016-09-26
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多