大型数据存储（nosql 与否）答案

【问题标题】：Large data store (nosql or not)大型数据存储（nosql 与否）
【发布时间】：2010-07-18 05:33:33
【问题描述】：

我需要存储大量科学数据（150 TB+ 起始数据），我想知道存储数据的最佳方式（nosql 或 RDBMS 等...）

任何提示......

詹姆斯

【问题讨论】：

【解决方案1】：

回答这个问题以从 NoSQL 或 RDBMS 中进行选择：“我的数据是按关系结构化的吗？”

【讨论】：

【解决方案2】：

这实际上取决于您以后需要如何处理数据。如果数据是几个非常大的文件的集合，那么普通的文件系统就可以了。如果您需要能够搜索和分析数据，那么数据库可能是最佳解决方案。

我也在科学环境中处理大型数据集。这些数据大部分是表格的，当我们开始时，我们存储的每个数据点都是一个表格。我们发现最终压缩表并将其以二进制 blob 形式存储到数据库中要容易得多。在一个单独的表中，我们存储了有关这些表的元数据。

【讨论】：

【解决方案3】：

科学数据有专门的数据库：http://www.dbms2.com/2009/09/12/xldb-scid/

【讨论】：

【解决方案4】：

它必须是一种数据库类型吗？ NoSQL 的一部分意味着一种尺寸并不适合所有尺寸，那么为什么不使用两个或更多 NoSQL 呢？一个列存储和一个图形数据库怎么样？

【讨论】：

【解决方案5】：

您应该查看NetCDF 和HDF5。另外，考虑使用PyTables 来访问和提取数据。

【讨论】：