需要从 kafka 主题中读取记录，一旦读取 50 条记录，调用一个在单个请求中接受 50 条记录的 API答案

【问题标题】：Need to read records from a kafka topic and once 50 records are read call an API that accepts 50 records in a single request需要从 kafka 主题中读取记录，一旦读取 50 条记录，调用一个在单个请求中接受 50 条记录的 API
【发布时间】：2020-03-31 05:02:54
【问题描述】：

我需要从 Kafka 主题中读取记录，一旦读取 50 条记录，就会调用一个 API，该 API 在单个请求中接受 50 条记录。

当应用程序没有任何存储数据库时如何实现它有什么建议吗？

我能够从 Kafka 主题读取记录，寻找有关如何将记录排队直到计数达到 50 的建议。

【问题讨论】：

应用是一个spring boot应用，使用spring kafka从topic中消费记录。
你考虑过kafka流吗？

标签： apache-kafka kafka-consumer-api

【解决方案1】：

为消费者设置max.poll.records=50。

max.poll.records：单次返回的最大记录数调用 poll()。

我不知道你接收数据的频率，如果你看到批次少于50条记录，尝试增加session.timeout.ms（默认为10秒）。

在Kafka Documentation中阅读有关消费者配置的更多信息

【讨论】：