用于存储大文件的数据库的最佳技术

Question

我有兴趣寻找可以帮助我构建一个程序的候选软件：

• 简单的键值对存储，键是散列，值是一个潜在的大文件（10-100mb。总数据集可以轻松运行到 200gb 及以上）
• 请求量非常少。每小时可能 1000 个，可能更少
• 读取次数比写入次数多 2 到 5 倍
• 自动删除一段时间未查询的数据以控制磁盘空间
• 系统丢失数据是正常的。
• 易于安装/很少的依赖项/易于制作 xplatform

像 Redis 和 MongoDB 这样的软件似乎是有趣的候选者，但它们似乎也非常试图解决每秒有效处理许多请求的问题，通常是为网站提供动力。一个我根本没有的要求。

我想知道您是否知道一种更适合我要解决的特定问题的工具。

Answer 1

根据您的要求，最简单的解决方案是使用文件系统来存储您的数据。使用哈希键作为文件名。

查找会很高效，数据会自动为你缓存在内存中。

如果您的文件系统支持它，您可以根据每个文件的最后访问时间进行定期清理。