生产者和消费者是否需要指定分区

Question

我们计划有一个生产者（Java rest api） 并且消费者（Java客户端）运行在多台机器上，所有消费者都属于同一个消费者组。

1) 在这种情况下，如果我在生产者发布消息期间未指定分区，其中 Kafka 写入随机/默认分区...

2）当消费者检索消息时，如果我不提及分区，我会传递主题名称..并将偏移量提交给 Kafka 服务器..

如果我有一个消费者群体，这是一种好方法吗？？？

3) 我是否需要 Kafka 休息代理，据我了解，这不是必需的，因为我使用的是 Java 客户端..如果我错了，请纠正我...请让我知道我会得到什么好处如果我必须在这里使用 Kafka 休息代理....

Answer 1

从生产者的角度来看，如果记录没有任何键，生产者将在主题的分区之间以循环方式插入记录。 从消费者的角度来看，如果任何消费者可以处理来自该主题的任何记录，则无需指定分区，如果您实际上甚至不必提交偏移量，客户端可以使用@987654323 为您完成@。

是的，如果你有 1 个消费者组，你可以添加多个消费者并平衡组之间的负载（这取决于组中消费者的数量和分区的数量）。

3）使用java客户端时不需要kafka rest代理，此外（如果我没记错的话）kafka rest代理依赖于模式注册表，所以你必须同时运行两者。