【发布时间】:2021-10-12 20:44:36
【问题描述】:
我有 3 个具有相同组 ID 的 spark-streaming 消费者订阅了一个只有一个分区的 Kafka 主题。这样一个分区分配给一个消费者,其他消费者空闲。我们需要杀死空闲的消费者。我们将 Spark 与 YARN 一起使用。
如何识别空闲的消费者
kafka 是否有任何命令可以检查哪个消费者处于空闲状态,或者是否有其他我们可以实现的命令?
【问题讨论】:
标签: apache-kafka
我有 3 个具有相同组 ID 的 spark-streaming 消费者订阅了一个只有一个分区的 Kafka 主题。这样一个分区分配给一个消费者,其他消费者空闲。我们需要杀死空闲的消费者。我们将 Spark 与 YARN 一起使用。
如何识别空闲的消费者
kafka 是否有任何命令可以检查哪个消费者处于空闲状态,或者是否有其他我们可以实现的命令?
【问题讨论】:
标签: apache-kafka
kafka-consumer-groups --group name 将显示组内的所有客户端以及分配了分区的客户端
虽然,如果有一个消费者线程失败,拥有备份进程并没有什么坏处
【讨论】:
试试这个 -
$ kafka-consumer-groups.sh --describe --group group_name --members
【讨论】: