消费者对主题分区的缓慢影响

Question

假设有一个 Kafka 主题，其中只有一个配置了无限保留策略的分区。假设有两个消费者，Fast 和 Slow。

Fast 消费者在消息出现时对其进行处理，并且几乎没有延迟。

Slow 消费者往往有明显的滞后，例如两天的消息。 Slow 有时会赶上 Fast，但这种情况很少发生，通常会有很大的滞后。

这种设置，在同一个分区中使用两种不同的消费者速度，会对 Kafka 代理产生负面影响吗？从磁盘检索Slow 消费者的旧消息是否会增加 I/O 成本？

Answer 1

滞后的消费者将无法从操作系统缓存中读取数据。因此，对于慢速消费者来说，会有 I/O 成本。另一方面，当你的慢消费者开始读取消息后，kafka 会进行顺序 I/O 来缓存消息。如果延迟不是太多，消费者可以在缓存中找到下一条消息。