在 MongoDb 中存储 IOT 数据

Question

我目前正在将 IOT 数据流式传输到在 Docker 容器（托管在 AWS）中运行的 MongoDB。每天我会获得数千个数据点。

我将使用收集到的这些数据进行一些密集的数据分析和机器学习，这些数据将每天运行。

这就是大数据的正常存储方式吗？行业标准和最佳做法是什么？

Answer 1

这取决于很多因素，例如，正在分析的数据类型、拥有多少数据以及您需要它的速度。

• 对于用户行为分析等应用，最好使用关系数据库。
• 嗯，如果数据适合电子表格，那么它更适合 SQL 类型的数据库，例如 Postgres、BigQuery，因为关系数据库擅长分析行和列中的数据。
• 对于半结构化数据，例如需要大量文本挖掘或图像处理的社交媒体、文本或地理数据，NoSQL 类型的数据库如 MongoDB、CouchDB 效果最佳。
• 另一方面，在关系数据库中，可以使用 SQL 来查询它们。 SQL 作为一种语言在数据分析师和工程师中广为人知，并且比大多数编程语言更容易学习。

业界常用的存储大数据的数据库有：

• 关系型数据库管理系统：平台作为数据引擎存储，采用B-Tree结构。 B-Tree 概念用于组织索引和数据，对数时间用于写入和读取数据。
• MongoDB：如果需要去规范化，可以使用这个平台 表。如果您想求助于在单个文档中包含所有相关嵌套结构的文档以保持一致性，那么它是合适的。
• Cassandra：这个数据库平台非常适合前期查询和快速编写。但是，查询性能稍差，这使其成为时间序列数据的理想选择。 Cassandra 使用 存储引擎中的 Long-Structured-Merge-Tree 格式。
• Apache HBase： 这个数据管理平台与 Cassandra 的格式。 HBase 还具有与 Cassandra 相同的性能指标。
• OpenTSDB： 该平台非常适合在几秒钟内收集数千条信息的 IoT 用户案例。仪表板需要收集到的问题。

希望对你有帮助。