哪个数据库用于结构化 - 大容量 - 插入+读取+汇总数据？答案

【问题标题】：Which database to use for structured - high volume - insert+read+summerize data?哪个数据库用于结构化 - 大容量 - 插入+读取+汇总数据？
【发布时间】：2012-02-13 07:19:36
【问题描述】：

要求如下：

大容量、结构化、实时数据。
数据仅插入（无更新）
需要实时汇总数据。
需要实时分析数据。
事务无关紧要（因为数据是只读的）
数据结构不会经常修改。（几乎从不）

再详细一点...数据是由软件生成的...一个用户可以拥有该软件的多个实例，我们的系统支持多个用户。

我们的系统>>用户>>他们的软件（所有关系都是一对多-从左到右）

【问题讨论】：

标签： database nosql data-mining data-warehouse

【解决方案1】：

说真的，实时的唯一方法是根本不存储它，可能会将其写入过时的日志文件以进行恢复。使用流处理进行分析，而不是数据库。

【讨论】：

那么你有什么建议呢？像抄写员之类的东西？
我脑子里有这样的东西……用来收集日志的抄写员。 hadoop 用于存储摘要（我们需要稍后使用）。（诚实的坦白——一个都不认识……我从一些演示和阅读中得出这些……）

【解决方案2】：

对于数据存储，使用HadoopHDFS（Hadoop文件系统）

如果数据只是插入（数据结构没有被修改），使用Hive

使用Sqoop 作为 HDFS 和 Hive 之间的连接器。

如果需要搜索数据（例如搜索引擎），请使用Solr

最后为了维护日志数据，试试Flume

【讨论】：