LOH 碎片 - 2015 更新答案

【问题标题】：LOH fragmentation - 2015 updateLOH 碎片 - 2015 更新
【发布时间】：2015-08-02 09:07:26
【问题描述】：

有很多关于 .NET LOH 的信息，并且已经在各种文章中进行了解释。但是，有些文章似乎缺乏一点精确性。

过时的信息

在Brian Rasmussen's answer (2009), program manager at Microsoft 中，他说限制是 85000 字节。他还告诉我们，还有一个更奇怪的例子，double[]，大小为 1000 个元素。 Maoni Stephens (MSDN, 2008), member of the CLR team 规定了相同的 85000 限制。

在 cmets 中，Brian Rasmussen 变得更加精确，让我们知道它可以用 85000 字节 - 12 字节的 byte[] 重现。

2013 年更新

Mario Hewardt (author of 'Advanced Windows Debugging') 在 2013 年告诉我们，.NET 4.5.1 现在也可以压缩 LOH，如果我们告诉它这样做的话。由于默认情况下它是关闭的，除非您已经意识到，否则问题仍然存在。

2015 年更新

我无法再重现 byte[] 示例。使用简短的蛮力算法，我发现我必须减去 24（SOH 中的byte[84999-24]，LOH 中的byte[85000-24]）：

    static void Main(string[] args)
    {
        int diff = 0;
        int generation = 3;
        while (generation > 0)
        {
            diff++;
            byte[] large = new byte[85000-diff];
            generation = GC.GetGeneration(large);
        }            
        Console.WriteLine(diff);
    }

我也无法重现 double[] 语句。暴力破解给了我 10622 个元素作为边界（SOH 中的double[10621]，LOH 中的double[10622]）：

    static void Main(string[] args)
    {
        int size = 85000;
        int step = 85000/2;
        while (step>0)
        {
            double[] d = new double[size];
            int generation = GC.GetGeneration(d);
            size += (generation>0)?-step:step;
            step /= 2;
        }
        Console.WriteLine(size);
    }

即使我为较旧的 .NET 框架编译应用程序，也会发生这种情况。它也不依赖于 Release 或 Debug 构建。

如何解释这些变化？

【问题讨论】：

感谢您发布更新。问题真的不在于您不能再复制byte[85000-12]。 32 位进程仍然具有我描述的行为，您可以在最新的 CLR 上验证这一点。但是，正如您在下面指出的那样，差异是由于 64 位平台上的参考大小造成的，因此要复制 64 位，您需要考虑参考的不同大小，就像您在答案中显示的那样。

标签： c# .net debugging out-of-memory windbg

【解决方案1】：

byte[] 示例中从 12 到 24 的变化可以用 CPU 架构从 32 位到 64 位的变化来解释。在为 x64 或 AnyCPU 编译的程序中，.NET 开销从 2*4 字节（4 字节对象头 + 4 字节方法表）增加到 2*8 字节（8 字节对象头 + 8 字节方法表）。此外，该数组的长度属性为 4 字节（32 位）与 8 字节（64 位）。

对于double[] 示例，只需使用计算器：85000 字节/64 位的双精度类型 = 10625 项，这已经很接近了。考虑到 .NET 开销，结果是（85000 字节 - 24 字节）/每个双精度数 8 字节 = 10622 双精度数。所以对double[]不再做特殊处理了。

顺便说一句，我之前从未找到任何 LOH 碎片的工作演示，所以我自己写了一个。只需为 x86 编译以下代码并运行它。它甚至包括一些调试提示。

编译为 x64 时效果不佳，因为 Windows 可能会增加页面文件的大小，因此后续分配 20 MB 内存可能会再次成功。

class Program
{
    static IList<byte[]> small = new List<byte[]>();
    static IList<byte[]> big = new List<byte[]>(); 

    static void Main()
    {
        int totalMB = 0;
        try
        {
            Console.WriteLine("Allocating memory...");
            while (true)
            {
                big.Add(new byte[10*1024*1024]);
                small.Add(new byte[85000-3*IntPtr.Size]);
                totalMB += 10;
                Console.WriteLine("{0} MB allocated", totalMB);
            }
        }
        catch (OutOfMemoryException)
        {
            Console.WriteLine("Memory is full now. Attach and debug if you like. Press Enter when done.");
            Console.WriteLine("For WinDbg, try `!address -summary` and  `!dumpheap -stat`.");
            Console.ReadLine();

            big.Clear();
            GC.Collect();
            Console.WriteLine("Lots of memory has been freed. Check again with the same commands.");
            Console.ReadLine();

            try
            {
                big.Add(new byte[20*1024*1024]);
            }
            catch(OutOfMemoryException)
            {
                Console.WriteLine("It was not possible to allocate 20 MB although {0} MB are free.", totalMB);
                Console.ReadLine();
            }
        }
    }
}

【讨论】：