何时保存时间序列数据

Question

我们正在收集大约 30,000 种金融工具的市场数据。我们希望每 10 分钟左右保留一次历史数据。它都保存在 PostgreSQL 表中。我在两种方法之间进行辩论：

“快照”

每 10 分钟存储一次所有符号的价格，带有漂亮的圆形时间戳。

优点：

• 使查询变得容易，因为时间戳是已知的先验，只需四舍五入到最后 10 分钟的倍数。

缺点：

• 更大的数据集
• 大刀片会影响性能
• 不会在不存储其他信息的情况下传达仪器数据更改的频率

“滚动更新”

仅在更新时存储每个符号，如果自上次更新后经过的时间超过 10 分钟。

优点：

• 更少和更小（更便宜）的插件
• 较小的数据集
• 数据将更准确地反映实际的变化频率（对于每 10 分钟更换一次以下的仪器）

缺点：

• 查询将更加复杂/昂贵，因为所需行的时间戳未知。

注意事项

• 插入比查询多得多
• 我们希望能够扩展到更多的仪器，可能会更新频率略高。

我一直在执行“滚动更新”，但没有发现查询有任何性能问题。表上只有一个多列索引，但插入似乎仍然比查询昂贵得多，因此这似乎是更适合的方法。这是一个合理的方法吗？还有其他我遗漏的注意事项吗？

Answer 1

我正在重新实现我们的提要，并且我正在从滚动更新切换到快照。编码更容易；我不必跟踪何时存储什么。使用二进制副本将数据加载到经过仔细索引的 PostgreSQL 表中，因此插入性能不是问题；我们看到的速率至少有几千条记录/秒，这已经足够了。

我没有使用专门的圆形时间戳，但如果我们想这样做的话，这将使检索整个快照变得更加容易。此时，我们一次只在一个时间点检索一个交易品种的数据。

我们处理的大多数符号每 10 分钟更改一次以上，因此无论如何我们的数据集都不能反映这些符号的变化频率。

更新：我们已开始更广泛地使用历史数据。我们现在可以轻松地在单个时间点检索更大的数据块，这是一个真正的福音。

Answer 2

快照方法存在一些问题，因为并非所有工具都会每分钟都在运行，特别是因为您正在考虑 30,000 种工具，其中必须包括一些流动性较低且可能不经常交易的工具。

滚动更新方法存在到处都有时间戳的问题，这可能会在查询数据时使事情变得复杂。

结合它们的第三种方法效果最好，您在解析器的内存中保留所有仪器的“滚动更新”的临时记录，并在 10 分钟标记时将最新值写入永久表并重新启动临时记录。这种方法还可以轻松跟踪开盘价、最高价、最低价、收盘价和成交量值。