需要批量获取数据的Kafka消费者

Question

我搜索了关于Kafka批量消费者的信息，但没有找到任何有价值的信息。

用例：

生产者将非常频繁地生成数据，在消费者网站上，我们将消费来自消费者的数据，我们将向 Facebook 和 Google 发布数据，这些数据对可发布的数据有限制。

让我知道是否可以暂停消费者在特定时间内使用数据，直到其他 API 使用来自消费者的数据。

注意：这可以通过storm轻松实现，但我不是在寻找这个解决方案。我们也可以在 kafka 中配置字节大小，但这并不能达到目的。

Answer 1

有几种方法可以做到这一点：

选项#1：使用一个消费者线程来处理所有数据消费并将消息传递给工作线程池所消费的阻塞队列。在给药时，您可以轻松地扩展工作进程和消费者。但是在这种情况下，偏移提交管理会有点困难。

选项 #2：只需调用 KafkaConsumer.pause() 和 KafkaConsumer.resume() 方法来暂停和恢复从特定分区获取数据以实现您自己的逻辑。