我有一个带有 3,125,000 个唯一（字符串）键的 New Dictionary(Of String, Long())。 我在键之间分配了近 10 亿（935,984,413）个值（所有长整数），并为每个键填充一个 long() 数组。
这对于平均数据集来说工作得很好而且非常快，比如说要分发 1,5000,000 个字符串键和 500,000,000 个长值，这大约需要 2 小时。
但是，对于上述数据集，一旦我完成了一半的数据，该过程就会运行得非常缓慢，并且按照目前的趋势可能永远不会结束......
我认为我的内存不足，应用程序正在使用 5GB 内存，我认为它现在受到我的系统（8GB RAM）的限制。
如何计算上述情况所需的内存量？ 字符串 Keys 的大小平均约为 5 个字符。
谢谢！
【问题讨论】：
标签： vb.net dictionary bigdata
Long 数据类型为每个 8 字节。对于string，情况更复杂。看看著名的 Jon Skeet 的 post。
引用：
至少在当前的实现中，字符串占用 20+(n/2)*4 字节（向下舍入 n/2 的值）
（注意：在他的blog post中，他对这个字符串计算有一些更新）
鉴于您的情况，您的 5 个字符 string 中的每一个都会占用：
20 + (5/2) * 4 = 20 + 8 = 28 bytes
尽管如此，您可以通过仅计算有效数字来简化计算 - 在您的情况下是 Long，因为它的成员比 string 多得多，而您的 string 密钥尺寸较小（5 个字符)。
因此，如果您有 10 亿个 Long，那么您将有大约 8GB 内存仅用于 Long。其他一些开销 + 字符串将不太重要，但至少需要将近 8 GB (935,984,413 x 8 = 7,487,875,304)。
在您的示例中，string 将是：
28 * 3,125,000 = 87.5 MB
因此，string 和 Long() 总共需要 7.5~7.6 GB
【讨论】：
Long... ;) 例如，我们不计算 Dictionary 本身，因为它不那么重要...