java.lang.OutOfMemoryError：读取大文本文件时超出 GC 开销限制

Question

我有一个大小约为 2 GB 的文本文件。文件的每一行格式如下：

一些文本可能用逗号分隔，唯一整数

我需要把每一行，分成两部分： 文本，唯一整数，并将其作为键值对放入 Hashmap 中。

现在，即使堆大小设置为 10 GB，我也面临 OutOfMemory 错误。

这可能有两个原因： 1.我读取文件的方式不对。 2. 我创建了太多不必要的 String 对象。

这就是我正在做的：

InputStream is = Thread.currentThread().getContextClassLoader().getResourceAsStream("filename.txt");

InputStreamReader stream = new InputStreamReader(is, StandardCharsets.UTF_8);

BufferedReader reader = new BufferedReader(stream);

while(true)
{
 line =reader.readLine();
 if (line == null) {
  break;
 }
 String text= line.substring(0, line.lastIndexOf(",")).trim();

 String id = line.substring(line.lastIndexOf(",") + 1).trim();

 //put this in a hashmap and other processing
}

由于我需要将文本的每一行分成两部分，并且第一部分（文本）也可能有逗号，因此我为此目的使用了 substring() 方法。

我使用 trim 的原因是我需要将 text 和 id 放在 Hashmap 中，而不需要尾随和前导空格。

错误信息：

 Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
    at java.util.Arrays.copyOfRange(Arrays.java:3664)
    at java.lang.String.<init>(String.java:207)
    at java.lang.String.substring(String.java:1969)

Answer 1

你应该添加循环条件。请用下划线代码再试一次。它似乎工作！

    try {
        String line;

        while ((line = reader.readLine()) != null) {
            String text = line.substring(0, line.lastIndexOf(",")).trim();

            String id = line.substring(line.lastIndexOf(",") + 1).trim();

            //put this in a hashmap and other processing
        }
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        try {
            reader.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }