KAFKA / AWS MSK，无法重置消费者组偏移量答案

【问题标题】：KAFKA / AWS MSK, unable to reset consumer group offsetKAFKA / AWS MSK，无法重置消费者组偏移量
【发布时间】：2021-05-03 10:46:45
【问题描述】：

我在尝试为在 AWS MSK (2.3.1 (Commit:18a913733fb71c01)) 上运行的消费者组重置偏移量时遇到问题。我尝试了 kafka-consumer-group.sh 并尝试将主题分区偏移量重置为 6200，结果也将 NEW_OFFSET 显示为 6200。但是当我描述消费者组偏移量时，它仍然可以看到那个特定的分区仍然使用旧的偏移量。

下面是我的消费者组当前状态，从下面可以看到分区 0，CURRENT-OFFSET 是 4467

GROUP                TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                            HOST            CLIENT-ID
sms-service-consumer send_sms        5          4446            6263            1817            kafka-node-client-015192c7-dc87-4677-8ab4-0a62ad73626f    kafka-node-client
sms-service-consumer send_sms        2          4458            6282            1824            kafka-node-client-015192c7-dc87-4677-8ab4-0a62ad73626f    kafka-node-client
sms-service-consumer send_sms        3          4457            6282            1825            kafka-node-client-015192c7-dc87-4677-8ab4-0a62ad73626f    kafka-node-client
sms-service-consumer send_sms        4          4460            6277            1817            kafka-node-client-015192c7-dc87-4677-8ab4-0a62ad73626f    kafka-node-client
sms-service-consumer send_sms        1          4461            6289            1828            kafka-node-client-015192c7-dc87-4677-8ab4-0a62ad73626f    kafka-node-client
sms-service-consumer send_sms        0          4467            6294            1827            kafka-node-client-015192c7-dc87-4677-8ab4-0a62ad73626f   kafka-node-client

我运行下面的命令重置为 6200

./kafka-consumer-groups.sh --bootstrap-server <broker> --group   sms-service-consumer --reset-offsets --execute --topic send_sms:0 --to-offset 6200

并得到以下回应

GROUP                          TOPIC                          PARTITION  NEW-OFFSET
sms-service-consumer           send_sms                       0          6200

但是，当我描述消费者群体时，我仍然在使用旧的 CURRENT-OFFSET

./kafka-consumer-groups.sh --bootstrap-server <broker>  --group sms-service-consumer --offsets  --describe


GROUP                TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
sms-service-consumer send_sms        5          4446            6263            1817            -               -               -
sms-service-consumer send_sms        2          4458            6282            1824            -               -               -
sms-service-consumer send_sms        3          4457            6282            1825            -               -               -
sms-service-consumer send_sms        4          4460            6277            1817            -               -               -
sms-service-consumer send_sms        1          4461            6289            1828            -               -               -
sms-service-consumer send_sms        0          4467            6294            1827            -               -               -

如果有人能解开一些光，不胜感激！

【问题讨论】：

标签： amazon-web-services apache-kafka

【解决方案1】：

您是否使用this 重置您的消费者组？如果是这样，请注意两点：

您没有在重置命令中传递消费者组名称（在 --group 参数之后检查您的调用
根据here上的注释

执行重置时，消费者组必须没有正在运行的实例。否则重置将被拒绝。

当您尝试重置时，您的消费者组是否有正在运行的实例？

【讨论】：

对不起，./kafka-consumer-groups.sh --bootstrap-server --group sms-service-consumer --reset-offsets --execute --topic send_sms： 0 --to-offset 6200 ，这是我执行的命令。
是的，我在执行命令之前已经杀死了消费者组，否则它会被拒绝。