【发布时间】：2023-03-29 11:34:02
【问题描述】：
这个想法是重新设计数据结构和/或更改数据库。 我刚开始审这个项目，打算从这个开始优化。
目前我有大约 80GB 的文档数据，大约 30M 条记录的 CouchDb。 从该子集中，对于大多数文档属性，如 id、group_id、location、type 可以被认为是通用的，但不幸的是，现在这些属性甚至以不同的属性命名存储在集合周围。也可以找到很多嵌套很深的。
结构几乎没有定义，这就是为什么在看到一些图片之前就选择了 NoSQL db。
数据在强大集群上的单独作业中计算并填充到数据库中。这不经常做。从这个角度来看，我可以得出结论，一般的写入/更新性能并不是很重要。尺寸减小也会很好，但不是最重要的。一次只有 1-10 个活跃客户。 实际上，各种过滤/分组等的读取性能是最重要的。 但是不应该做繁重的汇总计算，这个已经在填充时完成了。
这是一种数据分析工具，用于向质量工程师和数据分析师显示比较报告和其他报告，以便他们浏览结果、对结果进行分组或从 Web UI 进行过滤。
由于性能原因，现在无法执行诸如在文档属性的子集中搜索文本之类的任务。
当然，我已经进行了一些初步调查（例如 http://www.datastax.com/wp-content/themes/datastax-2014-08/files/NoSQL_Benchmarks_EndPoint.pdf），看起来 Cassandra 似乎是 NoSql 中的不错选择。
尝试将这些数据移植到新的 PostgreSQl 中也很有趣。
任何想法都将受到高度赞赏:-)
【问题讨论】：
标签： performance postgresql couchdb bigdata