【问题标题】:Need to identify idle kafka consumers需要识别空闲的 kafka 消费者
【发布时间】:2021-10-12 20:44:36
【问题描述】:

我有 3 个具有相同组 ID 的 spark-streaming 消费者订阅了一个只有一个分区的 Kafka 主题。这样一个分区分配给一个消费者,其他消费者空闲。我们需要杀死空闲的消费者。我们将 Spark 与 YARN 一起使用。

如何识别空闲的消费者

kafka 是否有任何命令可以检查哪个消费者处于空闲状态,或者是否有其他我们可以实现的命令?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    kafka-consumer-groups --group name 将显示组内的所有客户端以及分配了分区的客户端

    虽然,如果有一个消费者线程失败,拥有备份进程并没有什么坏处

    【讨论】:

    • 我也想列出空闲的。此命令将仅显示分配了分区的消费者
    【解决方案2】:

    试试这个 -

    $ kafka-consumer-groups.sh --describe --group group_name --members

    【讨论】:

      猜你喜欢
      • 2021-01-16
      • 1970-01-01
      • 2017-04-20
      • 1970-01-01
      • 2022-07-07
      • 2020-05-03
      • 2018-08-14
      • 2020-09-19
      • 2017-01-04
      相关资源
      最近更新 更多