Kafka生产者和消费者延迟

Question

我的 kafka 生产者将在一秒钟内推送 3 条消息，我的消费者将消费并且每条消息的数据处理时间为 3 秒。

所以在 1 分钟内生产者将产生 180 条消息，但我的消费者将在 1 分钟内仅消费 20 条消息。但我想在 1 分钟内使用所有消息

谁能给我建议来解决它，而不是增加实例

Answer 1

这完全取决于您的消费者逻辑。您如何从头到尾处理数据。 Kafka 根据偏移量将消息作为序列消费。

如果您的消费者逻辑可以使用并行处理，我建议您在 Kafka 服务器中添加更多分区。然后你可以在上面添加多个消费者。

我认为阅读有关 Kafka 和多分区 https://medium.com/@jhansireddy007/how-to-parallelise-kafka-consumers-59c8b0bbc37a 的文章很不错

Answer 2

1. 添加更多分区
2. 增加您的消费者并发，这将在您的单个实例（进程）中添加更多消费者线程
3. 视情况而定，尽可能加快您的消费者逻辑。