kafka-consumer-group 描述消费者组中的结果不存在答案

【问题标题】：kafka-consumer-group describe results in consumer-group does not existkafka-consumer-group 描述消费者组中的结果不存在
【发布时间】：2018-11-18 20:33:13
【问题描述】：

我一直在尝试在 java 中以编程方式运行以下脚本，并且它们大部分都可以工作，但对于某些人来说，这个错误不断出现： “消费者组 xyz 不存在”。有人可以解释为什么会发生此错误，特别是如果消费者组出现在 --list 脚本中。

 kafka/bin/kafka-consumer-groups.sh --zookeeper 
 192.xxx.x.xxx:2181 --describe -group TEST_CONSUMER

返回错误：

Error: The consumer group 'TEST_CONSUMER' does not exist.

但是这个脚本会将消费者组列为活动的：

kafka/bin/kafka-consumer-groups.sh --zookeeper 192.xxx.x.xxx:2181 --list

那么为什么如果列出它，然后返回一个错误，说明它不存在？也与消费者组有关——我运行这个脚本来获取滞后信息，因为我被告知除非我连接到每个消费者服务器或其他东西，否则无法通过 kafka 1.0 中的 jmx 指标获得这个信息。有人可以验证吗？

谢谢

【问题讨论】：

它并非特定于 Kafka 1.0，但是是的，延迟仅适用于消费者客户端 JMX，但您可以查看 Burrow 或 Remora 之类的工具 github.com/zalando-incubator/remora

标签： apache-kafka jmx lag

【解决方案1】：

使用bootstrap-server 而不是zookeeper here

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

注意：这只会显示有关使用 Java 消费者 API 的消费者（非基于 ZooKeeper 的消费者）的信息。

【讨论】：

感谢您的回复。我尝试使用服务器 ip 和相同的响应；将其更改为 localhost 并得到以下信息：“无法建立与 node-1 的连接”； “由于超时，消费者组命令执行失败”
使用与 server.properties 文件中的 listeners 值相同的主机名/IP。
@Bitswazsky - 感谢您的建议。检查属性文件，它有指向主机名的侦听器；试过了，还是一样的错误“消费者组不存在”。附加信息;这是一个由 3 台服务器组成的集群，我在所有 3 台服务器上都试过了
你能否更新 --list of consumer groups 的输出，并再次检查这些消费者是否处于活动状态，
@Deadpool - 很抱歉把它拖了出来。我所做的是检查我们正在运行的 kafka 管理器工具 api，它显示了具有相关主题的消费者组，但我随后尝试使用 --bootstrap-server 运行上面的命令（使用服务器中列出的 localhost、ip 甚至主机名属性）警告无法建立到节点 -1 的连接。经纪人可能不可用。 (org.apache.kafka.clients.NetworkClient) 错误：执行消费者组命令失败，因为请求 METADATA 在代理列表上失败（本地主机：9020（ID：-1 机架：空））

【解决方案2】：

首先列出集群中的组：

bin/kafka-consumer-groups.sh --bootstrap-server $IP_Address:9092 --list

然后描述你需要的组：

bin/kafka-consumer-groups.sh --bootstrap-server $IP_Address:9092 --group $GROUPID --describe

如果这不起作用，我猜您描述的是 ZK 中的一个组（akka old consumer），即存储在 ZK 中的旧 kafkaconsumer。你的 kafka 消费者客户端是哪个版本的？

【讨论】：

旧版本zookeeper如何描述消费群体？