如何使用 4GB RAM 提取大于 10 GB 的文件中的唯一行

Question

我有一台具有 4 GB RAM 的 PC 和一个使用 10 GB 内存的文件。现在我想检查文件中的每一行是否都是唯一的，所以我编写了以下代码：

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.util.HashSet;
import java.util.Set;

public class Cleaner {

    public static void main(String[] args) throws IOException {
        if (args.length < 2) {
            System.out.println("Too less parameters!");
            return;
        }

        File file = new File(args[0]);
        BufferedReader buff = new BufferedReader(new FileReader(file));
        String line;
        Set<String> set = new HashSet<String>();
        while ((line = buff.readLine()) != null) {
            set.add(line);
        }
        FileWriter fw = new FileWriter(args[1]);
        for (String s : set) {
            fw.write(s + "\n");
            fw.flush();
        }
        fw.close();
        buff.close();

    }

}

但我得到了 OutOfMemoryException，所以我的问题是：
我应该如何更改我的代码以获取每行都是唯一的文件？
提前感谢您的帮助。

Answer 1

您可以先尝试查找重复的行哈希以识别潜在的重复行：

Map<Integer, Integer> hashes = new HashMap<> ();
Map<Integer, Integer> dupes = new HashMap<> ();
int i = 0;
while ((line = buff.readLine()) != null) {
  int hash = line.hashCode();
  Integer previous = hashes.get(hash);
  if (previous != null) { //potential duplicate
    dupes.put(i, previous);
  } else {
    hashes.put(hash, i);
  }
  ++i;
}

最后你有一个潜在重复的列表。如果dupes 为空，则没有重复，如果不是，则可以对文件进行第二次传递以检查行是否真的相同。

Answer 2

由于您的 RAM 内存，您不能以这种方式执行该操作。相反，您可以读取文件并生成 n 个具有固定大小（例如：10.000 行）的文件，读取一行并将其放入实际文件中。当您达到文件限制时，打开一个新文件并释放所有对象以节省内存，然后进行第二次循环并使用字符串（针对该行）将原始文件的每一行与生成的 n 个文件进行比较。或许这样可以避免内存缺口。

有点奇怪，过程会很慢，但这样我认为你可以达到你的要求。

如果您需要代码，请告诉我。

希望有帮助

Answer 3

你可以这样作弊：（例如 Groovy，但等效的 Java 也可以）

def hashes = []
def writer = new PrintWriter(new FileWriter("out.txt"))
new File('test.txt').eachLine { line ->
    def hashCode = DigestUtils.sha256Hex(line) //Commons digest library
    if (!(hashCode in hashes)) {
        hashes << hashCode
        writer.println(line)
    }
}
writer.close()

运行所需的 RAM 不应该超过 1GB。与标准的 hashCode 方法相比，SHA256 哈希值可能会让您更加确定行的唯一性。