【问题标题】:Consumer timeout during rebalance重新平衡期间的消费者超时
【发布时间】:2021-03-10 01:04:20
【问题描述】:

当消费者从组中退出并触发重新平衡时,我知道没有消息被消耗 -

但是,正在进行的消息请求是否超过了最大等待时间?
或者 Kafka 在重新平衡期间是否会发回任何有效负载?

更新
为澄清起见,我特指消费者投票过程。
据我了解,当其中一个消费者从消费者组中退出时,会执行分区到消费者的重新平衡。
在重新平衡期间,如果已经轮询并等待最长时间过去,是否会将错误发送回消费者?
或者 Kafka 是否等待最长时间并发送一个空有效负载?
或者 Kafka 是否将请求通过最大等待时间排队,直到重新平衡完成?

底线 - 我试图解释消费者的周期性超时。
这可能在文档中,但我不确定在哪里可以找到它。

【问题讨论】:

  • 飞行中的请求来自生产者,而不是消费者群体。没有消息从消费者发送到代理,只有轮询/获取请求。你能澄清一下这个问题吗?

标签: apache-kafka


【解决方案1】:

Kafka 生产者直接将消息发送给他们的消费者,而是将消息发送给代理。

飞行中的请求对应于生产者而不是消费者。

消费者是否离开一个组并触发重新平衡对生产者的行为来说并不重要。

生产者消息在缓冲区中排队、批处理、可选压缩并根据配置发送到 Kafka 代理。

进行中请求是未确认请求的最大数量 客户端将在阻塞之前通过单个连接发送。

请注意,当我们说 ack 时,它是代理而不是消费者的确认。

Kafka 在重新平衡期间是否会发回任何有效负载?

Kafka 代理不会向其生产者通知任何重新平衡。

【讨论】:

  • 谢谢,但我说的是消费者 -> 经纪人,而不是生产者。我在问题中添加了更多细节。
猜你喜欢
  • 2017-04-20
  • 2018-07-27
  • 2017-06-19
  • 1970-01-01
  • 2018-05-23
  • 1970-01-01
  • 1970-01-01
  • 2020-08-04
  • 1970-01-01
相关资源
最近更新 更多