卡夫卡流不工作：组协调员不断被发现和不可用/无效

Question

最近我们的 (Kafka 1.1.1) 代理出现故障，我们的 Kafka-stream 应用程序停止工作。所以我们手动停止了应用程序以停止警报。

Kafka 再次上线后，我们启动了流应用程序，但它没有从主题中读取任何消息。我们在阅读了 Group Coordinator 不断发现的日志后发现，然后在无限循环中再次变得不可用。

以下是日志。

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-10-consumer, groupId=dummy-consumer-id] Group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null) is unavailable or invalid, will attempt rediscovery
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-1-consumer, groupId=dummy-consumer-id] Discovered group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null)
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-1-consumer, groupId=dummy-consumer-id] (Re-)joining group
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-3-consumer, groupId=dummy-consumer-id] Discovered group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null)
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-3-consumer, groupId=dummy-consumer-id] (Re-)joining group
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-2-consumer, groupId=dummy-consumer-id] Discovered group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null)
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-2-consumer, groupId=dummy-consumer-id] (Re-)joining group
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-1-consumer, groupId=dummy-consumer-id] Group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null) is unavailable or invalid, will attempt rediscovery
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

经过大量分析，我们决定更改流应用程序 ID 并启动应用程序，一切正常，但一段时间后同样的问题再次发生。

请帮我调试这个问题。我们不能每次都更改流应用 ID，如果需要任何详细信息，请告诉我。

Answer 1

这可能是由于您的 Kafka Streams 应用程序的 bootstrap.servers 配置错误。

确保可以解析应用配置中描述为引导服务器的整个阵列。如果其中一些有效而其他无效，则 KStreams 应用程序将无法平衡分区。

根据您的描述，如果您使用 IP 而不是 DNS 域来解析您的 Kafka 代理，则它们可能在宕机后发生了变化。确保它们是可解析的 DNS 名称（不是 IP）并且它们都得到了适当的解析 - 您可以 ping 它们以确保是这种情况。