kafka 消费者组间歇性地没有活动成员并且 CURRENT-OFFSET 及时返回答案

【问题标题】：kafka consumer group no active members intermittantly and CURRENT-OFFSET back in timekafka 消费者组间歇性地没有活动成员并且 CURRENT-OFFSET 及时返回
【发布时间】：2022-10-08 23:39:01
【问题描述】：

我在跑步时遇到了一个问题

./kafka-consumer-groups.sh  --bootstrap-server <bootstrapserverip> --describe --group <consumergroupname>

间歇性地工作会失败说

Consumer group '<consumergroupname>' has no active members

但它会间歇性地以正确的响应做出响应。

GROUP   TOPIC         PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
cg1 topic2            14         209524208       209879940       355732          -               -               -
cg1 topic2            12         209661131       210015132       354001          -               -               -
cg1 topic2            18         210596316       210950268       353952          -               -               -
cg1 topic2            16         209437072       209793799       356727          -               -               -
cg1 topic2            22         211312375       211673261       360886          -               -               -
cg1 topic2            20         209286701       209650677       363976          -               -               -
cg1 topic2            2          210321827       210682351       360524          -               -               -
cg1 topic2            0          210421336       210776016       354680          -               -               -
cg1 topic2            6          209935369       210286403       351034          -               -               -
cg1 topic2            4          208701050       209058578       357528          -               -               -
cg1 topic2            10         209797150       210156390       359240          -               -               -
cg1 topic2            8          208526200       208878857       352657          -               -               -
cg1 topic2            13         209273989       209620027       346038          -               -               -
cg1 topic2            11         209654494       210012412       357918          -               -               -
cg1 topic2            17         209829801       210185017       355216          -               -               -
cg1 topic2            15         209905341       210265460       360119          -               -               -
cg1 topic2            21         208954845       209300246       345401          -               -               -
cg1 topic2            19         210387555       210742817       355262          -               -               -
cg1 topic2            23         209783280       210142947       359667          -               -               -
cg1 topic2            1          209766493       210129508       363015          -               -               -
cg1 topic2            5          211081940       211448467       366527          -               -               -
cg1 topic2            3          209639183       209995993       356810          -               -               -
cg1 topic2            9          210779405       211135365       355960          -               -               -
cg1 topic2            7          210334295       210696755       362460          -               -               -

GROUP TOPIC         PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                     HOST            CLIENT-ID
cg1 topic1              2          210682265       210682423       158             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              3          209995897       209996070       173             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              0          210775935       210776068       133             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              22         211673178       211673331       153             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              4          209058500       209058656       156             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              12         210015060       210015188       128             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              23         210142871       210142999       128             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              9          211135271       211135445       174             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              17         210184937       210185080       143             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              6          210286316       210286487       171             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              14         209879858       209880001       143             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              20         209650572       209650751       179             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              10         210156308       210156454       146             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              18         210950184       210950319       135             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              15         210265372       210265540       168             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              7          210696670       210696831       161             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              21         209300166       209300313       147             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              1          210129409       210129597       188             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              19         210742743       210742883       140             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              11         210012327       210012473       146             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              16         209793705       209793877       172             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              8          208878764       208878921       157             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              13         209619942       209620088       146             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1
cg1 topic1              5          211448376       211448533       157             consumer-1-c4832c4d-678d-43c8-9f53-ae74626e0b03 /10.32.86.191   consumer-1

而消费者一直在运行。保留期是 24 小时，所以这应该不是问题。有趣的是，同一个工作有 2 个主题正在收听，而这种行为只发生在 1 个主题上。消费者端没有异常/日志。

即使kafka检测到消费者已经死亡（间歇性没有活跃成员），消费者当前的偏移量也不应该及时返回对吗？

【问题讨论】：

标签： apache-kafka kafka-consumer-api

【解决方案1】：

首先让我们了解消费者组描述命令的工作原理。

当我们使用 n 个代理 ip 运行命令时，调用会随机发送到 1 个代理（假设为 A）。
代理选择另一个它认为负载最少的代理（假设是 B）并触发 FIND_COORDINATOR 请求。
消费者组的协调者（假设consumerGroupName）是代理，它是__consumer_offset主题的分区领导者partitionid = "consumerGroupName".hashCode() %（__consumer_offset主题中的分区数）

例如，假设 __consumer_offset 主题中有 50 个分区。消费者组“test-consumer-group”的协调者将是分区“test-consumer-group”的领导者。hashCode()%50
现在代理 A 知道协调器代理，它将向协调器发送请求以获取最新的偏移详细信息。消费者详细信息可能不存在，如果

一个。消费者从未活着

湾。 __consumer_offset 的 ttl 小于消费者组的最后活动时间。

C。 __consumer_offsets 的复制因子为 1，并且特定分区存在数据丢失。

在我们的案例中，我们增加了 __consumer_offset 主题的分区数量（即very wrong thing to do，因为它会使所有消费者组哈希不一致。）但也没有重新启动所有代理。正因为如此，有时一些经纪人被选为协调者，但他们不知道消费者组，因此没有消费者组活动错误出现。

【讨论】：