如何限制kafka消费者的事件消费速度，使服务不受影响

Question

如何限制kafka消费者的事件消费速度，使服务不受影响。在kafka Topic中获取大量数据，我需要处理所有事件。 我们有 8 个消费者从 12 个分区读取 在 kafka 主题中获取大量数据，但保留时间为 5 天。那么我如何从消费者方面进行限制，以使消费者不会下降。卡夫卡有什么办法可以从消费者方面提高消息阅读速度，例如。比如 10 分钟内的 100 个事件。

Answer 1

您可以使用kafka quotas 限制消费者请求。

如果您的消费者“走下坡路”，则代码中可能存在其他问题。例如，在完全处理先前的消息之前，不阻止对更多消息的请求。但配额应该有助于限制消费者。