初始化集合时，哈希集对内存有什么作用？

Question

我偶然发现了以下问题。
我想要一个包含从 1 到 100.000.000 的所有数字的哈希集。 我尝试了以下代码：

var mySet = new HashSet<int>();
for (var k = 1; k <= 100000000; k++)
     mySet.Add(k);

该代码没有成功，因为我在 4900 万左右发生了内存溢出。这也很慢，内存增长过快。

然后我尝试了这个。

var mySet = Enumerable.Range(1, 100000000).ToHashSet();

其中 ToHashSet() 为以下代码：

public static HashSet<T> ToHashSet<T>(this IEnumerable<T> source)
{
    return new HashSet<T>(source);
}

我再次遇到内存溢出，但我能够输入更多的数字然后使用之前的代码。

起作用的事情如下：

var tempList = new List<int>();
for (var k = 1; k <= 100000000; k++)
     tempList.Add(k);

var numbers = tempList.ToHashSet();

在我的系统上大约需要 800 毫秒来填充 Enumerable.Range() 只需要 4 个滴答声的 tempList！

我确实需要那个 HashSet，否则查找值需要很长时间（我需要它是 O(1)），如果我能以最快的方式做到这一点，那就太好了。

现在我的问题是：
为什么前两种方法会导致内存溢出，而第三种方法不会？

HashSet 在初始化时对内存有什么特殊作用吗？

我的系统有 16GB 内存，所以当我遇到溢出异常时我很惊讶。

Answer 1

与其他集合类型一样，HashSet 会在您添加元素时根据需要自动增加其容量。当添加大量元素时，这将导致大量的重新分配。

如果您使用带有IEnumerable<T> 的构造函数对其进行初始化，它将检查IEnumerable<T> 是否实际上是ICollection<T>，如果是，则将HashSet 的容量初始化为集合的大小。

这就是你第三个例子中发生的事情——你添加了一个List<T>，它也是一个ICollection<T>，所以你的HashSet的初始容量等于列表的大小，从而确保没有需要重新分配。

如果您使用带有容量参数的List<T> 构造函数，您将更加高效，因为这将避免在构建列表时重新分配：

var noElements = 100000000;
var tempList = new List<int>(noElements); 
for (var k = 1; k <= noElements; k++) 
     tempList.Add(k); 

var numbers = tempList.ToHashSet(); 

至于你的系统内存；检查这是 32 位还是 64 位进程。 32 位进程最多有 2GB 可用内存（如果您使用了 /3GB 启动开关，则为 3GB）。

与其他集合类型（例如List<T>、Dictionary<TKey,TValue>）不同，HashSet<T> 没有采用capacity 参数来设置初始容量的构造函数。如果要初始化具有大量元素的HashSet<T>，最有效的方法可能是首先将元素添加到具有适当容量的数组或List<T>，然后将此数组或列表传递给HashSet<T>构造函数。

Answer 2

我猜HashSet<T> 和大多数 .net 集合一样，使用数组加倍策略来实现增长。不幸的是，没有占用容量的构造函数重载。

但如果它检查ICollection<T> 并使用ICollection<T>.Count 作为初始容量，您可以实现ICollection<T> 的基本实现，它实现GetEnumerator() 和Count。这样您就可以直接填写HashSet<T>，而无需实现临时的List<T>。

Answer 3

如果你将 1 亿个整数放入一个会消耗 1.5GB 的哈希集中（我的机器） 如果你创建一个 bool[100000000] 来设置你必须为 true 的每个数字，它只需要 100MB 并且查找速度也比 hashset 快。这假设整数范围为 0-100000000

Answer 4

HashSet 翻倍增长，分配导致它超出可用内存。

在 64 位 系统上，HashSet 可以容纳超过 8900 万个项目。

在 32 位 系统上，该限制约为 6170 万个项目。

这就是你得到内存溢出异常的原因

更多信息

http://blog.mischel.com/2008/04/09/hashset-limitations/