快速查找两个大文本文件之间的差异

Question

我有两个 3GB 的文本文件，每个文件大约有 8000 万行。它们共享 99.9% 的相同行（文件 A 有 60,000 行，文件 B 有 80,000 行）。

如何在两个文件中快速找到这些独特的行？是否有任何现成的命令行工具可以做到这一点？我正在使用 Python，但我想找到一种有效的 Pythonic 方法来加载文件并进行比较是不太可能的。

欢迎提出任何建议。

Answer 1

如果订单很重要，请尝试comm 实用程序。如果顺序无关紧要，sort file1 file2 | uniq -u。

Answer 2

我认为这是最快的方法（无论是使用 Python 还是其他语言，IMO 都不应该太重要）。

注意事项：

1.我只存储每行的哈希以节省空间（如果可能发生分页，还可以节省时间）

2.由于以上原因，我只打印出行号；如果你需要实际的行，你只需要再次读取文件

3.我假设散列函数不会导致冲突。这几乎是肯定的，但并不完全确定。

4.我导入hashlib是因为内置的hash()函数太短，无法避免冲突。

import sys
import hashlib

file = []
lines = []
for i in range(2):
    # open the files named in the command line
    file.append(open(sys.argv[1+i], 'r'))
    # stores the hash value and the line number for each line in file i
    lines.append({})
    # assuming you like counting lines starting with 1
    counter = 1
    while 1:
        # assuming default encoding is sufficient to handle the input file
        line = file[i].readline().encode()
        if not line: break
        hashcode = hashlib.sha512(line).hexdigest()
        lines[i][hashcode] = sys.argv[1+i]+': '+str(counter)
        counter += 1
unique0 = lines[0].keys() - lines[1].keys()
unique1 = lines[1].keys() - lines[0].keys()
result = [lines[0][x] for x in unique0] + [lines[1][x] for x in unique1]

Answer 3

如果有 60,000 或 80,000 行唯一行，您可以为每个唯一行创建一个字典，将其映射到一个数字。 mydict["hello world"] => 1 等。如果您的平均行大约为 40-80 个字符，那么这将在 10 MB 内存附近。

然后读取每个文件，通过字典将其转换为数字数组。这些将很容易放入内存中（2 个 8 字节 * 3GB / 60k 行的文件小于 1 MB 的内存）。然后区分列表。您可以invert the dictionary 并使用它打印出不同行的文本。

编辑：

作为对您的评论的回应，这里有一个示例脚本，它在从文件中读取时为唯一的行分配数字。

#!/usr/bin/python

class Reader:

    def __init__(self, file):
        self.count = 0
        self.dict = {}
        self.file = file

    def readline(self):
        line = self.file.readline()
        if not line:
            return None
        if self.dict.has_key(line):
            return self.dict[line]
        else:
            self.count = self.count + 1
            self.dict[line] = self.count
            return self.count

if __name__ == '__main__':
    print "Type Ctrl-D to quit."
    import sys
    r = Reader(sys.stdin)
    result = 'ignore'
    while result:
        result = r.readline()
        print result

Answer 4

如果我理解正确，您希望这些文件的行没有重复。这样就可以了：

uniqA = set(open('fileA', 'r'))

Answer 5

Python 有 difflib，它声称与其他 diff 实用程序相当有竞争力，请参阅： http://docs.python.org/library/difflib.html