SQL 表数十亿个条目 - 寻找性能建议 [关闭]

Question

我有一个庞大的数据库，我正在寻找合适的设置。目前我将我所有的条目都插入到 MongoDB 中，希望它比 MySQL 工作得更好（MySQL 不适用于如此巨大的数据库）。

我制作了一个小的 Python 脚本，它使用多处理搜索我的所有文本文件。对于纯文本文件 (150gb)，一次查询大约需要 1-2 小时。

也许这些信息会有所帮助： 数据是一个字典（键，值，但是有一些具有不同值的重复键。

我可以如何设置以及使用哪个 SQL 系统来处理如此大量的条目，并且查询甚至会比文本文件搜索更快吗？ 你会推荐我什么？

Answer 1

解决方案可以使用像 MySql、Spark on parquet 文件甚至 MongoDB 这样的 RDBMS。我对 Mongo 没有太多经验，所以我会权衡第 2 种选择。

关系数据库管理系统 - 1. 对表进行分片和分区。这将使您的搜索具有可扩展性。

1. 根据搜索键（不必是唯一的）为表编制索引 - 这将加快查找速度。

2. 压缩数据

如果您希望搜索和处理所有记录，那么 Shard 和 Partition 会有所帮助。如果要处理的记录很少，那么索引会有所帮助。

如果更改了大量数据，那么大数据系统（使用 Spark）和数据湖（使用 Parquet）将有所帮助。 Spark 可以以比您正在使用的 python 脚本更好的方式并行处理。 Parquet 将帮助压缩和拆分数据以进行并行处理。它是列式的，因此可以在几列上进行查询，而无需读取整行数据。如果要更改少量数据，则此选项不好。我的系统使用具有 20 个 CPU 和 100GB 内存的 Spark 集群在 20 分钟内处理了大约 200GB 的数据（每条记录都被处理）。

适当的数据模型对性能和可扩展性有很大帮助，因此这也需要适当。