当偏移存储是Kafka时如何检查消费者偏移量？答案

【问题标题】：How to check consumer offsets when the offset store is Kafka?当偏移存储是Kafka时如何检查消费者偏移量？
【发布时间】：2016-03-05 07:34:36
【问题描述】：

从 0.8.1.1 版本开始，Kafka 提供了在 Kafka 中存储偏移量的功能，而不是 Zookeeper（参见 this）。我无法弄清楚如何检查消耗的偏移量的详细信息，因为当前的工具仅提供对 zookeeper 的消费者偏移量计数检查。（我指的是this）

如果有任何工具可用于检查消费者抵消，请告诉我。

【问题讨论】：

OffsetChecker 适用于存储在 Kafka 中的偏移量。
@leshkin 你说的是捆绑在 /bin 中的 kafka.tools.ConsumerOffsetChecker 吗？
是的，详见我的回答。

标签： apache-kafka

【解决方案1】：

我正在使用带有存储在 kafka 中的偏移量的 kafka 0.8.2。这个工具对我很有用：

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker 
        --topic your-topic 
        --group your-consumer-group
        --zookeeper localhost:2181

您会获得所需的所有信息：主题大小、消费者滞后、所有者。

【讨论】：

这段代码有一个错误。当我在 kafka 中存储偏移量时，此类查看 /kafka/consumers/crm-client/。但是我的偏移量在这里不存在，因为我正在推动 kafka。
@g33kb0ne 嗯。你能在这里发布你的生产者配置吗？
我可以得到一个消费者过去的偏移量吗，kafka 是否存储每个时间段的偏移量
@krishna222 AFAIK 您可以将偏移量存储在 ZK 中，也可以将所有消费者偏移量推送到 kafka。因此，可以获取消费者偏移量主题并理论上获取消费者偏移量的某种时间戳。

【解决方案2】：

以下直接命令提供了足够的详细信息：

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-second-application

你会得到这样的细节

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                     HOST            CLIENT-ID
first_topic     0          4               4               0               consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53  consumer-1
first_topic     1          3               3               0               consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53  consumer-1
first_topic     2          3               3               0               consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53  consumer-1
first-topic     0          4               4               0               -                                               -               -

【讨论】：

【解决方案3】：

我使用的是 Kafka 2.1，我使用 kafka-consumer-groups 命令提供有用的详细信息，例如当前偏移量、日志结束偏移量、滞后等。最简单的命令语法是

kafka-consumer-groups.sh            \
--bootstrap-server localhost:29092  \
--describe --group <consumer group name>

示例输出如下所示

TOPIC       PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID            HOST      CLIENT-ID
your.topic  1          17721650        17721673        23   consumer-159-beb9050b  /1.2.3.4  consumer-159
your.topic  3          17718700        17718719        19   consumer-159-beb9050b  /1.2.3.4  consumer-159
your.topic  0          17721700        17721717        17   consumer-159-beb9050b  /1.2.3.4  consumer-159

HTH

【讨论】：