【问题标题】:Best (NoSQL) database to query big data查询大数据的最佳(NoSQL)数据库
【发布时间】:2013-03-19 13:28:50
【问题描述】:

我们正在开发一个应用程序,它使用一个非常大的数据库。它应该支持的基本操作是: - 查找给定地图 ID 的所有多边形 ID - 对于每个多边形,获取坐标来绘制它(4 个坐标)

所以,一切都是为了优化阅读。没有写作,没有一致性问题。当然,一些额外的事情很重要,但这是关键。多边形的元组数量非常大,在数亿(几 TB)的范围内。

您能为此推荐最好的数据库吗?我们目前最喜欢的是 Sharded Mysql、MongoDB 和 CouchBase。

【问题讨论】:

  • “大型数据库”是非常主观的。你能给我们一个可衡量的概念吗? Gbs/TBs 大小?您希望进行什么样的操作?
  • 拥有约 10 TB 数据的大型数据库。我上面提到的查询操作:1。对于给定的地图,找到所需的所有多边形(实际上是它们的 id)(以及一般地图信息) 2. 对于所有多边形 id,获取绘制它们所需的信息 - 坐标 (x1,y1,x2,y2)

标签: nosql gis bigdata


【解决方案1】:

我仍在尝试了解您需要执行哪些操作(我对 GIS 很感兴趣)。但这是我(蹩脚?)尝试提出一些建议 -

如果您想坚持使用 RDBMS,您可以使用 PostGRESQLGridSQL,这将为您的 SQL 查询带来并行查询执行功能。我有一位同事看到了使用此功能的显着收益。

这是一个关于缩放的案例研究PostGres with GridSQL

如果您对实验更开放,我希望您考虑Apache HBase,它在大数据领域享有盛誉。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-06-29
    • 2023-03-18
    • 2017-07-27
    • 1970-01-01
    相关资源
    最近更新 更多