【问题标题】:100 TB of data on Mongo DB? Possible?Mongo DB 上有 100 TB 的数据?可能的?
【发布时间】:2013-01-05 09:42:26
【问题描述】:

需要什么样的架构来存储 100 TB 的数据并通过聚合进行查询?多少个节点?每个节点的磁盘大小?最佳实践是什么?

每天将写入 240GB,但大小将保持不变,因为将删除相同数量的数据。

或者对存储数据和快速组查询有什么不同的想法?

【问题讨论】:

  • 是的,是的,相关问题已经过时了,因为从那以后用户组上出现了更大的场景。
  • 您使用 vertica 标记对此进行了标记。你也想要一些关于这方面的信息吗?

标签: mongodb hadoop vertica bigdata database


【解决方案1】:

我强烈推荐HBase

Facebook uses it for its Messages 服务,在 2010 年 11 月每天处理 150 亿条消息。

我们针对大型数据集测试了 MongoDB,但最终选择了 HBase,并且已经愉快地使用了几个月。

【讨论】:

  • 您是如何处理基础架构管理的?我们是一家小型初创公司,还没有资源可以 100% 做到这一点
  • 抱歉,我可能不明白 - 您所说的基础架构管理是什么意思?你的意思是管理 Hadoop/HBase 集群?我们使用了 Amazon Elastic MapReduce。
【解决方案2】:

请参考相关问题,

MongoDB limit storage size?

引用最上面的答案:

MongoDB 网站上的"production deployments" 页面可能是 对你感兴趣。列出了许多与基础设施一起列出的演示文稿 信息。例如:

http://blog.wordnik.com/12-months-with-mongodb 说他们正在存储 3 每个节点 TB。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-28
    • 1970-01-01
    • 2012-10-10
    • 1970-01-01
    • 2022-10-13
    相关资源
    最近更新 更多