计算用户日志中用户 ID 的出现次数时发生内存泄漏

Question

我需要统计用户日志中用户 ID 的出现次数。 我有 10 个日志文件（每个都有 2-3 GB）。每个文件都有很长的行，其中我只需要一个用户 ID 值。我编写了代码（见下文），不幸的是，当我运行它时，我看到非常强大的内存使用并得到错误“java.lang.OutOfMemoryError：GC 开销限制超出”。 请帮我更正我的代码...

public static void main(String[] args) throws IOException {

    Path ptIn = new Path("/user/test");
    FileSystem fs = FileSystem.get(new Configuration());
    FileStatus[] lf = fs.listStatus(ptIn);

    LinkedHashMap<String, Integer> map = new LinkedHashMap<String, Integer>();

    for (int i = 0; i < lf.length; i++) {

        BufferedReader br = new BufferedReader(new InputStreamReader(fs.open(lf[i].getPath())));

        String line = null;

        while ((line = br.readLine()) != null) {

            String key = line.split("\\t")[2].intern();

            if (map.containsKey(key)) {
                map.put(key, map.get(key) + 1);
            } else {
                map.put(key, 1);
            }
        }

        br.close();
        br = null;
    }

    Path ptOut = new Path("/user/test/test.result.txt");
    BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fs.create(ptOut, true)));

    for (String key : map.keySet()) {
        bw.write(key + "\t" + map.get(key) + "\n");
    }

    bw.close();
    bw = null;
    map.clear();
}

Answer 1

有两个地方可以积累记忆 - 在地图变量中 - 您将太多不同的“用户”放到表中 - 在行变量中 - 一个文件包含的行太长而无法存储在内存中 - 使用一些“用户”值解析器逐个字符地读取字符