提交组 xxx 的偏移量时发生错误 UNKNOWN_MEMBER_ID答案

【问题标题】：Error UNKNOWN_MEMBER_ID occurred while committing offsets for group xxx提交组 xxx 的偏移量时发生错误 UNKNOWN_MEMBER_ID
【发布时间】：2016-11-18 13:53:04
【问题描述】：

使用 Kafka 客户端 Java 库，使用日志已经工作了一段时间，但出现以下错误后，它不再工作了：

2016-07-15 19:37:54.609  INFO 4342 --- [main] o.a.k.c.c.internals.AbstractCoordinator  : Marking the coordinator 2147483647 dead.
2016-07-15 19:37:54.933 ERROR 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group logstash
2016-07-15 19:37:54.933  WARN 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Auto offset commit failed: Commit cannot be completed due to group rebalance
2016-07-15 19:37:54.941 ERROR 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group logstash
2016-07-15 19:37:54.941  WARN 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Auto offset commit failed:
2016-07-15 19:37:54.948  INFO 4342 --- [main] o.a.k.c.c.internals.AbstractCoordinator  : Attempt to join group logstash failed due to unknown member id, resetting and retrying.

它一直在重置。

运行同一应用程序的另一个实例会立即出错。

我怀疑 Kafka 或其 ZooKeeper 有问题，但没有错误日志。

有人知道这里发生了什么吗？

这是我正在使用的应用程序：https://github.com/izeye/log-redirector

【问题讨论】：

标签： java apache-kafka kafka-consumer-api

【解决方案1】：

我刚刚遇到了同样的问题。我一直在调查，在this 线程和this wiki 中可以找到解决方案。

问题似乎是批处理的处理时间比会话超时时间长。增加会话超时或轮询频率或限制接收的字节数。

对我有用的是更改max.partition.fetch.bytes。但您也可以修改session.timeout.ms 或传递给consumer.poll(TIMEOUT) 的值

【讨论】：

在这种情况下更改 consumer.poll(TIMEOUT) 将无济于事。和session.timeout.ms不一样。