RRD 时间序列数据

Question

我在一家从智能电表接收数据的公司工作。对于实时流，此数据可能长达 2 天，并且可能会在出现错误（间隙等）的情况下被填充。目前，我们通常将其存储 5 年。然后将数据拉入 SSAS Cube 并聚合成 1 分钟、5m、30m、1h、1 天、1 周、1 个月的聚合。对于这些聚合中的每一个，还存储了 Min、Max、Avg。 构建这个多维数据集很慢，而且目前不可扩展，因为它从单一来源挖掘数据。

我认为每个数据点的 RRD 样式数据库更适合由数据推送驱动。 但是我有几个关于 RRD 的问题（欢迎提供示例）

1. RRD 能否在保持数据粒度的同时随着时间的推移执行汇总？
2. 能否将数据输入 RRD 以纠正差距？

欢迎提供示例。

Answer 1

1. 是的 - 您需要适当地配置您的 RRA。

RRA 是一个循环归档，定义了数据点的数量和分辨率。所以你可以 - 假设采样率为 5 分钟：

RRA:AVERAGE:0.5:1:2000
RRA:AVERAGE:0.5:12:2400

将保持大约一周的 5m 分辨率和 100d 的 1hr 分辨率。但是您可以很容易地扩展您的 5m 分辨率 RRA——尽管它会使您的 RRD 更大。问题是——你真的需要吗？ RRD 的重点是自动存档与图形分辨率 - 查看一年的统计数据，无论如何您都无法渲染 5m 分辨率。对于 5m 的样本，1600px 宽的图无论如何只有大约 6 天。

1. 是的，但是由于 RRD 的工作方式，它有点烦人。实际上，您必须提取和重放数据以回填空白。如果您正在“重播”失去分辨率的事物，这不一定能很好地工作，因为您将没有足够的样本。您可以rrdtool dump提取XML形式的RRD内容，也可以直接修改然后rrdtool restore。如果您需要以任何实际频率执行此操作，我建议使用 rrdtool 以外的其他工具。