读取大文件时超出 GC 开销限制

Question

我想逐行读取我的 .csv 文件，以免一次将所有内容加载到 RAM 中。我认为这是做到这一点的方法。我还以一种在循环中不声明任何变量的方式编写代码，以使 JVM 免于总是创建新对象和运行垃圾收集器。

但是，我一直遇到此“超出限制的 GC 开销”错误。我的 CPU 也几乎 100% 运行。

Here 问题是由存储数百万个 String 对象的 HashMap 引起的 - 但我应该“只”存储大约 20.000 个 Node 对象。

请帮我找出我的代码有问题的部分。错误报告下面源代码中标记的行。

这是我的代码：

HashMap<String,TweetNode> allNodes = new HashMap<String,TweetNode>();
    // read file
    try {
        BufferedReader br = new BufferedReader(new FileReader(graphFile));
        noOfNodes = 0;
        String line = br.readLine();
        String firstNode;
        String[] lineContent;
        while (line != null) {
            lineContent = line.split("\t"); // error occurs here!
            // always look at the first node
            firstNode = lineContent[0];
            if (! allNodes.containsKey(firstNode)) {
                allNodes.put(firstNode, new TweetNode(noOfNodes, firstNode));
                noOfNodes++;
            }
            allNodes.get(firstNode).addNeighbour(lineContent[1], Double.valueOf(lineContent[2]));
            line = br.readLine();
        }
        br.close();
    } 
    // ... catch stuff ...
return allNodes;
}

Answer 1

我在这里看到的唯一问题是您的地图。 Map 正在填满堆内存。您应该在低堆内存的情况下运行您的应用程序。通过访问以下参数检查当前值并将其设置为合理的高值。

标志 Xmx 指定 Java 虚拟机 (JVM) 的最大内存分配池，而 Xms 指定初始内存分配池。