Prometheus 时间序列生成的图形在不同形状之间跳跃答案

【问题标题】：Graph produced from Prometheus time series jumps between different shapesPrometheus 时间序列生成的图形在不同形状之间跳跃
【发布时间】：2017-10-31 14:53:14
【问题描述】：

我使用 Prometheus 2.0.0-beta.2 和 Grafana 来查看mytimeseries{attr="val"} 形式的简单计量时间序列的图表。它的范围包括最近 6 小时，每 30 秒刷新一次。

目前发生的情况是图形的形状在不同形式之间跳跃，以便在大约 10 分钟内进行后续刷新。循环。以下是其中一些形状：

这怎么可能发生？我怀疑这是因为时间序列在几个点出现峰值（例如，在大约 10:30 时达到大约 25 K）并且这些值在某些情况下包含在图表中，但在其他情况下可能由于 Grafana 移位显示的时间段而不包含在图表中相对于到达 Prometheus 的新记录指标的“奇数”偏移量。

在任何情况下，这都会使输出难以阅读，并且当前图表几乎无法用于监控。我想知道这是否是一个更普遍的、也许是已知问题的实例，如果是这样，克服它的最佳方法是什么，以便同一个图从右向左移动，但不会意外改变其形状。

更新 This 讨论似乎涉及类似问题，并暗示类似的可疑原因。我的时间序列测量每秒接收的八位字节（由操作系统工具报告），虽然我控制将其输入 Prometheus 的导出器，但我不清楚如何将其输入计数器（而不是仪表），所以建议的解决方案并不容易适用。

【问题讨论】：

您是否尝试在 Graph 的 Metrics 设置中将查询分辨率设置为 1/1？
@YooryN。是的，但这对指示的问题没有影响。同样将 min step 设置为一个非常小的值（例如 1s，可能可靠地是所有涉及的抓取间隔的公分母）目前看起来更有希望。不过，确切的原因让我无法理解。

标签： graph monitoring grafana prometheus

【解决方案1】：

这是一个别名问题。鉴于您只有一个可以使用的仪表，我建议您使用 avg_over_time 或 max_over_time 以避免丢失数据。

我还建议查看节点导出器是否公开此指标，因为这将作为计数器。

【讨论】：

那么我应该尝试哪个特定的表达式而不是mytimeseries{attr="val"} 来显示相同的图形而不会出现混叠问题？我不明白你的第二句话。