如何在 kubernetes 中为 kafka、amqp 或任何其他可伸缩的消息代理部署消息消费者？我的假设是消费者运行一个拉取消息的循环。
我希望 kubernetes 在代理队列中到达的消息过多时创建更多的 pod，并在队列中到达的消息太少时删除一些 pod。
哪个组件具有结束 pod 的主动权？ pod 本身是因为它无法从队列中获取消息吗？还是 Kubernetes 因为 pod 不消耗 cpu？
如果有一个pod在队列为空的时候结束了，恐怕只要队列为空，pod就会一直生死。
【问题讨论】：
Kubernetes Horizontal Pod Autoscaler 支持custom and external metrics。使用更传统的消息传递代理，如 AMQP（1 个队列 / 许多竞争消费者），您应该能够根据队列深度轻松扩展消费者（例如 如果队列深度 >= 10000 msg，则向上扩展。如果队列深度为）。您也可以根据平均客户端吞吐量（例如如果平均吞吐量 >= 5000 msg/s，向上扩展）或平均延迟来执行此操作。 Horizontal Pod Autoscaler 会为您进行放大和缩小。它将观察指标并决定何时关闭或启动 pod。消费者应用程序不知道这一点 - 它不需要任何特殊支持。但是您需要获取这些指标并公开它们，以便 Kubernetes 可以使用它们，这目前还不是很简单。
使用 Kafka，这会有点困难，因为 Kafka 实现竞争消费者的方式与 AMQP 等更传统的消息传递代理非常不同。 Kafka 主题被分成多个分区。每个分区只能有来自单个消费者组的一个消费者。因此，无论您做什么自动缩放，它都无法处理以下情况：
Kafka 也没有队列深度之类的东西。但是您可以例如使用有关消费者滞后的信息（显示给定分区的生产者背后的消费者有多少）来进行缩放。
【讨论】：