Kafka java消费者在调用轮询时只获取几条消息，有时没有，有人可以帮助增加轮询计数

Question

我的配置：

props.put("sasl.mechanism", "PLAIN");
props.put("enable.auto.commit", "false");
props.put("auto.commit.interval.ms", "1000");
props.put("auto.offset.reset", "latest");
props.put("request.timeout.ms", 16000);
props.put("max.partition.fetch.bytes", "4194304");
props.put("max.poll.records","3000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

ConsumerRecords consumerRecords = consumer.poll(100);

Answer 1

您可以增加消费者配置fetch.min.bytes，默认为 1，以确保一次获取更多数据。但是，如果在 16secs（在您的 request.timeout.ms 配置中设置）之后没有新数据到达主题，您仍然会看到获取零消息的轮询。

这是consumer configs上的Kafka文档中对fetch.min.bytes配置的完整描述：

fetch.min.bytes：服务器应为获取请求返回的最小数据量。如果可用数据不足，则请求将在响应请求之前等待累积那么多数据。 1 字节的默认设置意味着只要有一个字节的数据可用或获取请求超时等待数据到达，就会响应获取请求。将此设置为大于 1 的值将导致服务器等待大量数据累积，这可以稍微提高服务器吞吐量，但会增加一些延迟。