如果很长时间不调用 poll()，组协调器是否会处理 kafka 消费者（0.9）死亡？

Question

https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html 提到 “只要消费者定期发送心跳，它就被认为是活着的，并且正在处理来自其分区的消息。事实上，轮询消息的行为是导致消费者发送这些心跳。如果消费者停止发送心跳的时间足够长，它的会话将超时，组协调器将认为它已死并触发重新平衡。"

同样https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html指定“broker会通过心跳机制自动检测test组中的失败进程，consumer会自动定时ping集群，让集群知道自己是存活的。只要消费者能够做到这一点，它就被认为是活着的，并保留从分配给它的分区中消费的权利。如果它停止心跳的时间比 session.timeout.ms 长，那么它将被认为是死的并且它的分区将被分配给另一个进程。"

在我的应用程序中，处理从之前的 poll() 收到的消息可能需要长达数小时才能调用另一个 poll()。注意：我禁用自动提交是因为我并不总是知道处理所有以前的消息需要多长时间。

a) 这是否会导致组协调员认为消费者已死亡或不活动？

b) 是否有其他方法可以向组协调员发送心跳消息以保持会话处于活动状态？

c) session.timeout.ms 对保持消费者活跃/活跃有任何影响吗？

Answer 1

a) 是的，如果您调用poll() 的时间不超过session.timeout.ms，Kafka 会认为消费者已经死亡。

b) 作为替代方案，您可以在处理期间（即与处理交错）调用poll() 以触发心跳（并在每次“真实”轮询之前进行搜索）。使用额外的处理线程也是可能的，允许主线程定期轮询以发送心跳。 但是，您需要确保检测到处理线程上的故障（正确执行此操作很棘手）！

c) 你可以增加超时值，但是，这可能不是你想要的，就像你的消费者失败了，这个失败会很晚才被检测到。

您描述的问题实际上是已知的，未来消费者的行为可能会发生变化。已经有关于它的讨论。详情请见KIP-62。

更新

由于 Kafka 0.10.1，消费者有两个配置参数：max.poll.interval.ms 和 session.timeout.ms。第一个是两次连续轮询之间的最大时间，第二个是心跳超时。心跳在一个额外的线程中发送，因此现在与调用poll() 分离。因此，增加max.poll.interval.ms 不会产生无法快速检测到整个客户端故障（无心跳）的负面影响。