是否有任何 api 或工具可以获取 kafka 主题中的摄取率答案

【问题标题】：Is there any api or tool for getting ingestion ratio in a kafka topic是否有任何 api 或工具可以获取 kafka 主题中的摄取率
【发布时间】：2019-11-11 08:16:18
【问题描述】：

如何找到摄取比率？即，每秒/分钟间隔摄取的事件/字节数

【问题讨论】：

标签： apache-kafka data-ingestion

【解决方案1】：

正如另一个答案中提到的，Kafka 通过 JMX 导出指标，涵盖字节输入/输出率以及许多其他有趣的数据点。有关完整详细信息，请参阅文档中的 Monitoring section。

建议在您计划运行 Kafka 集群时收集并绘制任何这些指标。

现在，如果您只是想在开发过程中快速获得这些值，您还有其他几个选择：

jconsole：此图形工具随 JVM 一起提供，可以显示所有 JMX 指标。
kafka.tools.JmxTool：这个 CLI 工具是 Kafka 自带的，可以打印 JMX 指标的值。例如，要获取代理摄取率，请运行：
```
./bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
```

要使这些工作，您必须启用 JVM 以在端口上公开 JMX。

【讨论】：

【解决方案2】：

您可以在您的 kafka 设置中使用 jmx 导出器并将抓取的指标发送到 prometheus（时间序列数据库）。

prometheus 中的指标然后可以在 grafana 中可视化。您将在那里获得主题级别的指标，您可以在其中查看每个主题的每秒/分钟摄取量

【讨论】：

您还将获得更多信息，例如没有复制下的分区等。这些指标可用于监控整个 kafka。