来自文件的 ObjectInputStream 导致内存泄漏

Question

我有一个巨大的文件，其中包含由 ObjectOutputStream 一个接一个写入的对象列表。

for (Object obj : currentList){
    oos.writeUnshared(obj);
}

现在我想使用 ObjectInputStream 读取这个文件。但是，我需要同时读取多个文件，所以无法将整个文件读入内存。 但是，使用 ObjectInputStream 会导致 Heap Out Of Memory 错误。根据我的阅读，这是因为 ObjectInputStream 存在内存泄漏，并且即使在返回读取对象后仍保持对读取对象的引用。

我怎样才能要求 ObjectInputStream 不维护其阅读内容的引用？

Answer 1

一种可能的解决方案是在您的 ObjectOutputStream 上调用方法 reset()：“这将忽略已写入流的任何对象的状态。状态被重置为与新的 ObjectOutputStream 相同。流中的当前点被标记为重置，因此相应的 ObjectInputStream 将在同一点重置。” （摘自 java 文档） 对 ObjectOutputStream 进行重置也会重置 ObjectInputStream 状态。

我假设您也可以控制您的 ObjectOutputStreams？

Answer 2

当您在写作方面使用writeUnshared 时，您已经完成了一半的工作。如果您现在还在输入端使用readUnshared 而不是readObject，ObjectInputStream 将不会维护对对象的引用。

您可以使用以下程序来验证该行为：

package lib.io;

import java.awt.Button;
import java.io.*;
import java.lang.ref.Reference;
import java.lang.ref.ReferenceQueue;
import java.lang.ref.WeakReference;
import java.util.concurrent.ConcurrentHashMap;

public class ObjectInputStreamReferences {
  public static void main(String[] args)
  throws IOException, ClassNotFoundException {
    final int numObjects=1000;
    Serializable s=new Button();
    ByteArrayOutputStream os=new ByteArrayOutputStream();
    try( ObjectOutputStream oos=new ObjectOutputStream(os) ) {
      for(int i=0; i<numObjects; i++) oos.writeUnshared(s);
    }
    final ConcurrentHashMap<WeakReference<?>, Object> map
                                                  =new ConcurrentHashMap<>();
    final ReferenceQueue<Object> q=new ReferenceQueue<>();
    new Thread(new Runnable() {
      public void run() {
        reportCollections(map, q);
      }
    }).start();
    try(ObjectInputStream ois=
        new ObjectInputStream(new ByteArrayInputStream(os.toByteArray()))) {
      for(int i=0; i<numObjects; i++) {
        Object o=ois.readUnshared();
        map.put(new WeakReference<>(o,q), "");
        o=null;
        System.gc();Thread.yield();
      }
    }
    System.exit(0);
  }

  static void reportCollections(
      ConcurrentHashMap<WeakReference<?>, Object> map, ReferenceQueue<?> q) {
    for(;;) try {
      Reference<?> removed = q.remove();
      System.out.println("one object collected");
      map.remove(removed);
    } catch(InterruptedException ex){}
  }
}