Spring Kafka Consumers - 云中的并发侦听器与非并发侦听器

Question

我使用 Spring Kafka 创建了一个 Kafka 消费者并将其部署在 Cloud Foundry 中。该主题有 10 个分区。我计划将应用程序扩展到 10 个实例，以便每个实例都可以使用来自一个分区的消息。 Spring Kafka 也支持并发消息侦听器容器，我猜它支持从每个分区创建多个线程来使用。因此，例如，如果我有 5 个使用者实例，则每个使用者实例可能有 2 个线程从分区中消耗。既然我无论如何都计划为每个分区创建 1 个应用程序实例，那么使用并发消费者有什么好处吗？

由于我的首要任务是快速处理主题中的消息，我认为为每个分区提供 1 个应用实例将为每个分区中的消息提供足够的资源来处理。

Answer 1

没错，你只需要在同一个消费者组中有10个单线程消费者。由于您恰好有 10 个分区，因此 Kafka 中的重新平衡机制将在您的 10 个实例之间分配它们。

该容器中的并发将是不必要的。考虑改用KafkaMessageListenerContainer。