【问题标题】:Big byte arrays use more heap than expected大字节数组使用的堆比预期的多
【发布时间】:2021-09-20 16:41:33
【问题描述】:

使用 1 GB Java 堆 (-Xmx1g),我将数据存储在许多大字节数组中。我收到OutOfMemoryError 很长一段时间之前 1 GB 的数据被存储。那时,Runtimert.maxMemory() - rt.totalMemory() + rt.freeMemory()计算的空闲堆还是蛮多的:

byte array size approx. data that can be stored approx. free heap shown
2^18 (262144) 800 MB 270 MB
2^17 (131072) 930 MB 140 MB
2^16 (65536) 997 MB 72 MB
2^15 (32768) 1032 MB 36 MB

为什么大字节数组的堆大小计算被关闭,我可以做些什么来修复它?


注意:当使用 2^19(或更大)大小的字节数组时,会发生不同的情况:Java byte array of 1 MB or more takes up twice the RAM - 让我们将这个问题集中在 2^18 大小的字节数组上。

在 Windows java -cp .\lib\* -Xmx1g tryit.Main 和 Debian java -cp .:./lib/* -Xmx1g tryit.Main 上使用 64 位服务器 VM AdoptOpenJDK 11.0.11 运行:

package tryit;

public class Main {
    public static void main(String[] args) throws Exception {
        byte[][] array = new byte[1000000][];
        long freeAtStart = free();
        System.out.println("Free at start: " + freeAtStart);
        int chunkSize = 2<<17; // This is 2^18.
        System.out.println("Chunk size   : " + chunkSize);
        for (int n = 0; n < 1000000; n++) {
            if (n % 50 == 0) {
                long currentFree = free();
                System.out.printf("%d: stored %d / allocated %d / free %d\n", n, n * chunkSize, freeAtStart - currentFree, currentFree);
            }
            array[n] = new byte[chunkSize];
        }
    }
    static long free() throws Exception {
        System.gc(); // Called just in case - there should not be anything to garbage collect.
        Thread.sleep(100); // Give GC some time to work
        return Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory();
    }
}

最后是四次运行的(缩短的)输出:

2^15:
Free at start: 1068751960 / Chunk size: 32768
31500: stored 1032192000 / allocated 1032933912 / free 35818048

2^16:
Free at start: 1068751960 / Chunk size: 65536
15200: stored 996147200 / allocated 996627400 / free 72124560

2^17:
Free at start: 1068751960 / Chunk size: 131072
7100: stored 930611200 / allocated 930960032 / free 137791928

2^18:
Free at start: 1068751960 / Chunk size: 262144
3050: stored 799539200 / allocated 799823160 / free 268928800

2^19 (humongous objects - allocation size is two times stored size):
Free at start: 1068751960 / Chunk size: 524288
1000: stored 524288000 / allocated 1048811120 / free 19940840

【问题讨论】:

  • 您的测试不正确。 System.gc(); 将不会以 100% 启动 GC。这是对 JVM 这样做的唯一建议。 JVM 可以不做 GC。
  • 我打电话给System.gc()“以防万一”。没有垃圾回收的东西(一切都是强引用的),所以例子不需要尝试触发gc。
  • 这是我在 Java 17 上 2^18 的输出:3050: stored 799539200 / allocated 1064828992 / free 1617856 edit 删除了 gc() 调用,我得到了 267966664,即和你很相似。所以 gc 调用确实有所作为?
  • 1GB 不仅仅由你使用 - VM 也有它的数据,而且它甚至没有完全提供给你,垃圾收集器需要他们自己的结构才能工作,比如 SATB 队列,甚至 @ 987654323@。你看到的对我来说很正常。
  • @oleg.cherednik 在当前实现下,我检查了一些,它会(假设默认标志)。问题是System.gc 启动了一个并发标记阶段——触发(或不触发)的内容取决于当前堆。

标签: java arrays memory out-of-memory


【解决方案1】:

如链接答案 (Java byte array of 1 MB or more takes up twice the RAM) 和 G1 garbage collector documentation 中所述,G1 垃圾收集器将堆划分为每个 1 MByte(2^20 字节)的区域。对于提供 1024 个区域的 1GB 堆(由于管理开销可能会少一些)。

您会天真地期望 2^20 字节的区域可以容纳 4 字节数组,每个数组 2^18 字节 - 但不幸的是,情况并非如此。字节数组是对象,对象有一个隐藏的对象头(解释见https://stackoverflow.com/a/50509263)。

所以byte[262144] 的有效大小不是 262144 字节,而是 262160 字节(取决于 JVM 和最大堆大小可能更大),这意味着每个区域只能容纳 3 个字节的数组长度 262144。

将每个区域的 3 字节数组与 1024 个区域相结合,将为 1 GB 堆提供最多 262144 字节的 3072 字节数组,这与您的数字非常匹配。


你能做些什么:

  • 使用更大的区域(通过提供-XX:G1HeapRegionSize=4M) - 4MB 区域可以容纳长度为 262144 的 15 个字节数组,而 1MB 的 4 个区域只能容纳长度为 262144 的 12 个字节数组
  • 使用稍小的字节数组 - 1MB 区域只能容纳长度为 262144 的 3 个字节数组,但可以容纳长度为 262128 的 4 个字节数组

注意:本文使用2^20表示2的20次方,与java表达式2^20不同,而是1&lt;&lt;20

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2013-12-19
    • 1970-01-01
    • 1970-01-01
    • 2020-02-13
    • 2015-08-01
    • 2011-08-07
    • 2020-07-29
    相关资源
    最近更新 更多