如何在 InfluxDB 中存储光学数据答案

【问题标题】：How to store optical data in InfluxDB如何在 InfluxDB 中存储光学数据
【发布时间】：2016-11-25 16:13:38
【问题描述】：

我是 InfluxDB 的新手，对如何存储我的数据有疑问。我们的光学传感器有一个输出，每个时间戳有数千个值。到目前为止，我只看到每个时间戳的几个值的示例。我的数据会是这样的：

时间戳、标签{}、字段{value1, value2... value10000}

在 InfluxDB 中存储这样的数据是否有最佳实践？另外，一个数据点可以有多少个字段有限制吗？

【问题讨论】：

请通过示例提供有关传感器数据的详细信息。还要阐明每秒有多少条记录以及查询或分析的类型。定制的数据存储系统可能会更好。
@JasonLivesay，数据示例如下：2016-11-15T16:43:40.305464, -13.12, -9.40, 0.55, -5.25, -1.35, -0.24, -3.28 , ... 每条记录可能包含大约 10K 个值。我们预计每个传感器每秒有 10 条记录。关于查询或分析的类型，我不确定，因为它将由数据科学家完成。但我知道我们必须存储原始数据并进行查询。
10k * 2 字节 * 10 = 200kb 每秒 * 3600 = 720 mb 每小时 * 24 = 17 gb 每天。我会与数据科学家交谈，了解他正在做什么类型的分析，然后首先在您喜欢的数据库的上下文中研究在此基础上过滤和压缩数据，然后如果失败并采取任何似乎合适的方式。

标签： time-series influxdb

【解决方案1】：

在不知道传感器与其数据之间的确切关系的情况下，这里有 3 个可能的选项。

案例 1：时序数据

值得注意的是，InfluxDB 能够使用低至纳秒精度的时间戳。如果您的数千个值是连续的并且可以单独添加时间戳，请考虑将它们写入/存储在单独的时间戳中

INSERT measurement sensor=[value1] 2016-11-26T00:00:00.00000000Z
INSERT measurement sensor=[value2] 2016-11-26T00:00:00.00010000Z
...
INSERT measurement sensor=[value10000] 2016-11-26T00:00:01.00000000Z

这样做的好处是可以在一个时间序列中查看所有测量结果。

案例 2：一对一映射传感器到值

如果每个值都来自一个独特的传感器，例如您有数千个点和数千个传感器，请考虑为每个传感器制作一个标签或字段。

A：按传感器标记值

INSERT measurement,sensor=sensor1 field=[value1] 2016-11-26T00:00:00Z
INSERT measurement,sensor=sensor2 field=[value2] 2016-11-26T00:00:00Z
...
INSERT measurement,sensor=sensor10000 field=[value10000] 2016-11-26T00:00:00Z

B：每个传感器都是一个场

INSERT measurement sensor1=[value1] sensor2=[value2] ... sensor10000=[value10000]

如果每个传感器有多个指标，我会考虑选项 A。如果每个传感器只产生 1 个指标，我会选择选项 B。

案例 3：可变数量的值

如果每个时间戳的值数量不定，例如，在机器视觉中，您已对图像进行阈值处理并提取对象，则您将达到 TSDB 的限制。像这样的空间数据不能很好地映射到 InfluxDB 这样的基于度量的时间序列数据库中。

【讨论】：

感谢您的意见。恐怕案例 1 和案例 2 在这里不适用，因为我们有一个光学传感器，它在特定的时间戳输出数千个读数。在我的情况下，这将是案例 3（你有一个错字）。您对我们可以使用哪种数据库有什么建议吗？
我同意@JasonLivestay 和他的回应。您正在对这些数据进行什么类型的分析？您需要无损存储吗？如果数据可以表示为图像并且您正在进行某种形式的图像分析，我建议您保存为 JPEG 并使用您的 os 文件系统。
另外，如果您认为我的帖子回答了您的原始问题，请将其标记为答案。谢谢！