kafka（非活动）消费者滞后监控

Question

我使用 Confluent Kafka 0.10.0。我想监控消费者偏移量以发出警报。

消费者组在组不活动时存储在哪里？有没有一种程序化的方法来提取这些？ （即kafka api中的一些东西）

同样 - 有没有办法获取包含非活动组的组列表？

---

注意：

（目前）为我的项目列出/描述组的唯一方法是使用
kafka-consumer-groups ... --new-consumer。

Answer 1

做以下事情：

1. 获取你的group.id，并计算Math.abs(groupID.hashCode()) % 50。假设你的group.id是“test_group1”，然后通过计算Math.abs(“test_group1”得到目标分区号。 hashCode()) % 50

2. 使用之前计算的目标分区号运行以下命令：

   bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition --broker-list *** --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

您应该能够看到此非活动组的偏移量。对于活跃组，只需要运行 kafka-consumer-groups 脚本就足够了。

Answer 2

查看 kafka 文档。以下页面声称是您想要的工作示例： https://cwiki.apache.org/confluence/display/KAFKA/Committing+and+fetching+consumer+offsets+in+Kafka