存储许多小整数的有效解决方案

Question

我将生成一个包含大约 7*10^11 个整数的数据集。每个整数将在 0-1000 之间。未压缩，这将需要大约 14 TB（短整数）的存储空间。

对于此类信息，是否有内置压缩的高效数据库解决方案？最好用二进制存储？

编辑：记录必须按顺序存储。

Answer 1

你是只存储整数，还是其他？

你为什么不做一个有两列的表格：

• 数字：0到1000
• 计数：在集合中出现的次数

您是否有一些未说明的要求，例如必须使它们保持有序？

Answer 2

10 位的存储将涵盖最多 1024 的整数，这大于您预期的最大值 1000。因此，您可以使用宽度仅为 10 的多位列。这将减少您的存储开销仅为 875 GB，而不是 14 TB。

在 Postgres 中，有一个 BIT 类型应该在这里工作。我希望大多数数据库都会有类似的东西。