【问题标题】:How to get Assigned Partition for a Kafka Consumer in JS如何在 JS 中为 Kafka 消费者获取分配的分区
【发布时间】:2021-03-09 05:34:09
【问题描述】:

我正在使用 KAFKAJS 与 Kafka 消费者合作。 我需要知道分配给特定消费者的所有分区。

例如,假设主题 1 有 5 个分区。并且有 2 个消费者具有相同的 clientId。 因此,将为一个分配 3 个主题,另一个分配 2 个主题。我希望每个消费者都知道分配的分区。

【问题讨论】:

    标签: node.js apache-kafka kafka-consumer-api kafkajs


    【解决方案1】:

    我们可以使用 consumer.describeGroup 来查询消费者组的状态。 https://kafka.js.org/docs/consuming#a-name-describe-group-a-describe-group

    memberAssignment 字段描述了分配给每个成员的主题分区,但它是一个缓冲区,因此您需要使用 AssignerProtocol.MemberAssignment.decode:

    https://github.com/tulios/kafkajs/blob/master/index.js#L18

    我们也可以监听 GROUP_JOIN 事件。它已经包含了成员分配,所以你不需要实际描述Group:

    https://kafka.js.org/docs/instrumentation-events#consumer

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-11-10
      • 2019-11-28
      • 2022-06-14
      • 1970-01-01
      • 1970-01-01
      • 2017-01-04
      相关资源
      最近更新 更多