压缩导致 OutOfMemoryError

Question

在生产中对一些大型 sstable 运行压缩时出现 OutOfMemoryError，表大小约为 800 GB，但小型 sstable 上的压缩工作正常。

$ noodtool compact keyspace1 users
error: Direct buffer memory
-- StackTrace --
java.lang.OutOfMemoryError: Direct buffer memory
        at java.nio.Bits.reserveMemory(Bits.java:693)
        at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123)
        at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311)
        at org.apache.cassandra.io.compress.BufferType$2.allocate(BufferType.java:35)

Java 堆内存（Xms 和 Xmx）已设置为 8 GB，想知道是否应该将 Java 堆内存增加到 12 或 16 GB？

Answer 1

这不是堆大小，而是所谓的“直接内存” - 您需要检查您拥有的数量（可以通过-XX:MaxDirectMemorySize=512m 之类的东西指定，或者它将采用与堆）。您可以通过增加堆大小来间接增加它，也可以通过-XX 标志显式控制它。这是good article 关于Java 中的非堆内存。