为 Java 中的大型数据集寻找基于磁盘的纯键值缓存

Question

我目前有一个 postgres 数据库，它具有固定长度键（20 字节）和固定长度值（40 字节）的简单模式。它是一个包含数十亿行的庞大表，但不幸的是我们有很多重复的数据。我们想将此表分离到它自己的数据存储中。

理想情况下，我正在寻找将这些数据存储在大型硬盘驱动器上的方法，以便不时对其进行查询。性能对于读取来说并不重要，磁盘访问速度足够快 - 无需在内存中存储任何内容。并且在初始加载后很少添加新数据。

如果没有可用的产品，我愿意自己提出建议。我最初考虑使用密钥作为基于字节 /0/32/231/32/value 的文件夹路径，但显然这会导致单个磁盘上的文件/文件夹过多。由于键和值都是固定长度，因此是否可以使用优化？

有什么建议吗？

Answer 1

尝试一些纯 Java 数据库引擎，例如 MapDb 或 LevelDB。