如何解释 kafka 代理报告的延迟指标

Question

我正在查看 kafka 代理报告的各种延迟指标以将它们包含在 grafana 仪表板上，但我很难理解报告的指标。我已通过 JMX 导出器将指标导出到 prometheus。 例如，让我们采用 Produce Request Total time 指标。 (kafka.network:type=RequestMetrics,name=TotalTimeMs,request=Produce)

1. 当我查询普罗米修斯时 "kafka_network_requestmetrics_totaltimems_count{request="Produce"}"

，我得到了一些很大的数字。例如56459366。 大数是什么意思？

1. 当我用"kafka_network_requestmetrics_totaltimems{request="Produce"}" 查询prometheus 时，我得到6 行。例如关注

kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.50",request="Produce"}    2
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.75",request="Produce"}    2
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.95",request="Produce"}    3
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.98",request="Produce"}    12.42
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.99",request="Produce"}    21
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.999",request="Produce"} 54 

这些不同的分位数指标是什么意思，我如何计算这些平均值？

1. 代理多久更新一次这些指标？

Answer 1

计数只是自代理上升以来测量的 Produce 请求数。对于经纪人收到的每个生产请求，它都会测量处理时间。所以它是一个单调递增的计数器。

不同的 6 行是百分位数。这意味着，在您的情况下，对于 50%（中位数）的生产请求，处理它们的时间长达 2 毫秒。 75% 的请求也是如此。但是，对于 99% 的请求，处理时间长达 21 毫秒。所以你可以推断，对于中间那 24% 的请求，处理时间在 2ms 到 21ms 之间。 您不能也不应该计算平均值，因为它非常具有误导性，尤其是在测量 SLA 时（正如著名的笑话所说——如果统计学家的头在炉子里，而他的腿在冰箱里，那么他平均感觉美好的...） 您可以找到许多解释差异的帖子，例如 - https://www.dynatrace.com/news/blog/why-averages-suck-and-percentiles-are-great/

至于这些指标的更新频率 - 它们会随着请求的到来而不断更新。直方图正在使用存储库，以便为最近的样本提供更多权重（当您查看时考虑一周前发生的样本是没有意义的在当前请求时间百分位）。有不同类型的水库，我不知道这里用的是哪一种，但是为了理解这个概念，你可以阅读这篇文章https://medium.com/expedia-group-tech/your-latency-metrics-could-be-misleading-you-how-hdrhistogram-can-help-9d545b598374