kubernetes HPA 的 Kafka 分区配置

Question

我们目前有一个 Kafka 分区，每个 Kafka 分区有 3 个和 3 个 Kubernetes pod。我们观察到，由于 pod 数量较少，因此存在性能滞后。我们计划增加豆荚。我们观察到在特定时间段会发生延迟，因此我们想到使用 Kubernetes HPA。

1. 如果我们只是将分区增加到 6 并实施 Kubernetes HPA 有什么缺点
2. 使用 Keda/knative 有什么好处？

   参考：https://www.confluent.io/events/kafka-summit-americas-2021/intelligent-auto-scaling-of-kafka-consumers-with-workload-prediction/，https://itnext.io/kafka-consumer-autoscaling-with-keda-41310f80a62a

Answer 1

1. 增加分区数肯定有助于提高吞吐量。 HPA 将不起作用，因为 HPA 适用于 HTTP 请求指标。但如果你能保持不。 partition == replica count 那么这将像魅力一样工作。

2. Keda 以事件驱动的方式工作，因此它将监控消费者滞后（您可以对其进行配置），并且它将比 k8s HPA 更好地进行自动缩放。