Kafka - SimpleConsumer 如何与消费者组相关联？

Question

Kafka 新手。

我真的被 Kafka 的 API 搞糊涂了：

• 0.9 版与 0.8 版完全不同。

• 然后是simpleConsumer，highlevel Consumer和consumer group

  1. 当我实例化 SimpleConsumer 时，它是否与消费者组相关联？还是消费者组是高级消费者使用的抽象？
  2. 如果我不关心消息或重复的顺序，我可以实例化 2 个从同一分区读取的 simpleConsumer 吗？
  3. 有没有办法使用 simpleConsumer 从主题中读取而不指定分区？

Answer 1

正如您所提到的，对于 Kafka 0.9，有一个新的消费者 API，两个较旧的消费者 API 仍然存在，但可能会在未来的版本中停用，以支持新的 API。

消费者组概念仅与高级消费者有关，它是协调消费者实例从同一组主题中读取的帮助者，以避免重复消息，并允许在消费者实例崩溃等情况下自动故障转移的并行性. 使用简单的消费者 API 时，您必须自己处理这种协调，因此您还需要指定要从哪些分区读取，这也不会阻止您让多个消费者从同一个分区读取。

我不知道一个好的用例，您需要多个消费者从同一个分区读取，但是如果您想将它用于不同的目的，您可以使用具有多个消费者组 ID 的高级 API他们将彼此独立工作。