kafka 流调用 poll() 从 kafka 主题获取记录的次数答案

【问题标题】：How many times kafka stream invokes poll() for fetching records from kafka topickafka 流调用 poll() 从 kafka 主题获取记录的次数
【发布时间】：2019-05-30 13:35:57
【问题描述】：

我想更多地了解kafka stream processor。我想知道 kafka 流处理器用于从 kafka 获取数据的 frequency of polling 是什么。

据我了解，kafka 流处理器在内部创建了一个 kafka Consumer 客户端，该客户端从 kafka 获取数据（并调用 poll()）。

那么当第一次调用poll() 时，下一次再次调用它从kafka 获取数据是什么时候？它每秒发生多次吗？我怎么知道 poll() 被调用了多少次（用于从 kafka 获取数据）。

对理解这一点的任何帮助都会有很大帮助。

【问题讨论】：

标签： apache-kafka apache-kafka-streams

【解决方案1】：

poll() 的调用频率没有绝对数字。有多种因素会影响调用 poll() 的频率。作为一个简化模型，可以假设调用poll()，获取N条记录，处理完所有N条记录后再次调用。

Kafka Streams 收集的指标告诉您poll() 被调用的频率，因此您可以轻松监控它：https://docs.confluent.io/current/streams/monitoring.html

【讨论】：