卡夫卡 - 特定消费者的错误 - 经纪人不可用

Question

我们在容器的集群中部署了多个 Kafka 消费者。除了一个发出警告“无法建立到节点 0 的连接。代理可能不可用”之外，所有的都正常工作，但是，这个错误只出现在其中一个容器中，并且这个消费者在同一个网络中运行和其他人的服务器。所以我已经排除了kafka服务器配置的问题。 我尝试更改消费者的 groupid 并让它工作了几分钟，但现在再次出现警告。我从 bash shell 中消费了这个消费者使用的所有主题，我可以消费。 考虑到上述情况，我认为这可能是由于消费者软件代码中的不良做法，也可能是偏移量受损。我如何使用 kafka 日志识别是否有这种类型的？

Answer 1

您可以执行到容器中并 netcat 代理的广告地址以验证连接性。

您还可以像往常一样使用 Kafka shell 脚本来验证消费功能。

损坏的偏移量会阻止任何消费者阅读，而不仅仅是一个。错误的代码实践不会出现在日志中

如果您让容器“与其他人在同一台服务器上”运行，我建议您使用关联规则和约束将您的应用程序分散到多个服务器上，然后再放置在同一台机器上