为什么 AWS MSK Kafka 代理不断断开和重新连接消费者组答案

【问题标题】：Why is AWS MSK Kafka broker constantly disconnecting and reconnecting the consumer group为什么 AWS MSK Kafka 代理不断断开和重新连接消费者组
【发布时间】：2021-11-30 21:27:47
【问题描述】：

我有带有 2 个代理的 AWS MSK Kafka 集群。从日志中我可以看到（在每个代理上）他们一直在重新平衡。我可以在日志中看到的每一分钟：

Preparing to rebalance group amazon.msk.canary.group.broker-1 in state PreparingRebalance with old generation 350887 (__consumer_offsets-21) (reason: Adding new member consumer-amazon.msk.canary.group.broker-1-27058-8aad596f-b00d-428a-abaa-f3a28d714f89 with group instance id None) (kafka.coordinator.group.GroupCoordinator)

25 秒后：

Preparing to rebalance group amazon.msk.canary.group.broker-1 in state PreparingRebalance with old generation 350888 (__consumer_offsets-21) (reason: removing member consumer-amazon.msk.canary.group.broker-1-27058-8aad596f-b00d-428a-abaa-f3a28d714f89 on LeaveGroup) (kafka.coordinator.group.GroupCoordinator)

为什么会这样？是什么原因造成的？而amazon.msk.canary.group.broker-1消费群又是什么？

【问题讨论】：

抱歉，我无法帮助您了解为什么它会重新平衡和丢弃，但金丝雀消费者组是 AWS 用来监控 Kafka 集群上的运行状况和指标的：docs.aws.amazon.com/msk/latest/developerguide/… 没有其他服务器日志？ Kafka 默认有 2 个日志，消息/主题日志和内部应用程序日志。我相信默认的内部应用程序日志位于：$kafka_Home/kafka/logs/ 可能需要进行一些挖掘才能找到正确的日志。

标签： amazon-web-services apache-kafka aws-msk

【解决方案1】：

可能是Java垃圾配置的问题对经纪人收款？我记得读过垃圾收集器的错误配置会导致代理暂停几秒钟并失去与 Zookeeper 的连接，从而导致翻转行为。你能检查一下你是否为垃圾收集应用了任何自定义配置吗？（即通过KAFKA_JVM_PERFORMANCE_OPTS环境变量）

【讨论】：

我们根本无法控制这些变量。我们所能做的就是为 MSK 设置一些 kafka 配置或增加代理数量。