kafka生产者参数需要发送一条消息才能生效

Question

我正在使用 confluent-kafka-python (https://github.com/confluentinc/confluent-kafka-python) 使用 Python 向 Kafka 发送一些消息。我不经常发送消息，所以希望延迟非常低。

如果我这样做，我可以让消息以大约 2 毫秒的延迟出现在我的消费者面前：

conf = { "bootstrap.servers" : "kafka-test-10-01",
         "queue.buffering.max.ms" : 0, 
         'batch.num.messages': 1, 
          'queue.buffering.max.messages': 100, 
              "default.topic.config" : {"acks" : 0 }}
p = confluent_kafka.Producer(**conf)
p.produce(...)

但是：在我向这个新的生产者发送第一条消息后，延迟才降到接近零。后续消息的延迟接近 2 毫秒。

虽然第一条消息有大约 1 秒的延迟。为什么？

Answer 1

librdkafka 的作者 Magnus Edenhill 记录了一些有用的参数来设置以减少任何 librdkafka 客户端的延迟：

https://github.com/edenhill/librdkafka/wiki/How-to-decrease-message-latency

您没有显示您的消费者参数，但从您的描述来看，消费者在发布第一条消息之前正在轮询并且正确地没有得到任何东西（空消息），因此它会等待默认的 500 毫秒 fetch.error.backoff.ms 间隔之前尝试再次轮询并获得第一条消息。之后，消息可能来得足够快，以至于不会触发错误回退。也许尝试将fetch.error.backoff.ms 设置得更低，看看是否有帮助。