.Except / Yield 返回内存不足异常

Question

我正在使用 Linq 的 except 语句耗尽内存。

例子：

var numbers = Enumerable.Range(1, 10000000);
int i=0;
while (numbers.Any())
{
    numbers = numbers.Except(new List<int> {i++});
}

我反编译了这个方法，这也是一样的，但也会出现内存不足的异常。

var numbers = Enumerable.Range(1, 10000000);
int i=0;
while (numbers.Any())
{
   numbers = CustomExcept(numbers, new List<int>{i++});
}
private IEnumerable<int> CustomExcept(IEnumerable<int> numbers, IEnumerable<int> exceptionList)
{
    HashSet<int> set = new HashSet<int>();
    foreach (var i in exceptionList)
    {
        set.Add(i);
    }
    foreach (var i in numbers)
    {
        if (set.Add(i))
        {
           yield return i;
        }
    }
}

所以我的问题是：为什么这会引发内存不足异常？

我希望垃圾收集器清理未使用的 HashSet。

Answer 1

当您在 numbers.Any() 中的 i==10 时，“数字”不是从 10 到 1000 万的数字列表，而是：

Enumerable.Range(1, 10000000)
   .Except({0})
   .Except({1})
   .Except({2})
   // (etc)
   .Except({9})

所有这些“例外”都有自己的非常活跃的哈希集。所以没有什么可以垃圾收集的。

您必须添加一些 .ToList()s 才能真正执行这些异常并给垃圾收集器一些机会。

Answer 2

我同意，这是一些非常令人惊讶的行为。在这种情况下，我也不希望 Except 内存不足。

但是，如果您查看reference source for the Enumerable class，您就会明白原因。除外（通过 exceptIterator 辅助方法）：

• 创建一个新的Set<T>
• 迭代第二个列表并将其元素添加到集合中
• 迭代第一个列表，并为每个元素：
  • 尝试将其添加到集合中
  • 如果它不存在，yield 返回它

所以它不是只是做一个“例外”，它也隐含地做一个“不同”。为了做到这一点，它也将 first 列表的所有元素添加到集合中......所以对于一个巨大的第一个列表，是的，你会消耗大量的内存.

我希望它在第二个循环中执行“包含”，而不是“添加”。我也没有在documentation 中看到这种行为。我看到的最接近的是描述：

通过使用默认相等比较器比较值来产生两个序列的集合差。

如果它将其参数视为集合，那么删除重复项确实有意义，因为这就是集合的作用。但这不是我从方法名称中预料到的！

无论如何，您最好的选择可能是摆脱您的Except，而是将Last 捕获到一个变量中，然后执行Where(value => value != last)。