【问题标题】:Low Latency Bigdata On CouchbaseCouchbase 上的低延迟大数据
【发布时间】:2012-02-09 20:50:51
【问题描述】:

Couchbase 是一种存储,可以处理基于 GroupBy 的 4TB 数据的低延迟读写吗?如果不是,那么 Couchbase 多大的数据适合低延迟访问?

【问题讨论】:

  • 您的数据集是 4TB 吗?数据项的大小。 Couchbase 每个项目的最大默认值为 20MByte。

标签: membase couchbase


【解决方案1】:

Couchbase 绝对可以处理 4TB 的数据。它会很快到您可以将工作集保存在 RAM 中的程度。因此,您可以拥有大于内存的磁盘,但您希望拥有非常小的缓存未命中率,我们让您对其进行监控。如果您发现 % 太高,是时候扩大集群以提供更多可用内存了。

4TB 应该是几十个节点。在那个规模上,磁盘吞吐量开始成为限制因素(例如,慢速磁盘需要很长时间来预热大量内存)。所以对于真正热门的东西,人们使用 SSD,但对于大多数应用来说,EC2 就足够了。

【讨论】:

  • 如果您最关心的是新实体并行写入数据库的速度怎么办?我应该以多快的速度将 4TB 的数据插入到一个 50 节点的 ChouchDB 集群中? 1 分钟还是 1 小时?如果我使用 MonogoDB,这次会有很大不同吗?
猜你喜欢
  • 2012-09-26
  • 1970-01-01
  • 2017-09-22
  • 2013-09-20
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-10-19
  • 1970-01-01
相关资源
最近更新 更多