一个kafka主题单位时间内收到的新消息数

Question

我正在尝试绘制给定 Kafka 主题中每单位时间（分钟或小时）收到的新消息的数量。

我看过有关查找主题中当前消息数量的帖子。作为一种潜在的解决方案，我可以在每个时间间隔查询这个数字，但是，这不考虑过期消息（由于保留时间）。

有没有办法获取一个kafka主题单位时间内收到的新消息数？

Answer 1

在 JMX 指标中，您可以找到 kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec，它表示传入消息的速率。您可以将其存储在 Prometheus 或其他时间序列数据库中，并根据时间进行查询。