Python 3：如何最快地比较两个大文件？

Question

在“Big_file.txt”中，我想提取与“Small_file.txt中的UID不重复的“User A”的UID强>”。我编写了以下代码，但它似乎永远不会停止运行。那么，如何加快进程呢？非常感谢:)

import json

uid_available = []
linesB = []
for line in open('E:/Small_file.txt'):
    line = json.loads(line)
    linesB.append(hash(line['uid']))


for line in open('E:/Big_file.txt'):
    line = json.loads(line)
    if hash(line['uid']) not in linesB and line['user'] == 'User A':
        uid_available.append(line['uid'])

这是 Big_file.txt 的格式（有 1000 万行）：

{'uid': 111, 'user': 'User A'}
{'uid': 222, 'user': 'User A'}
{'uid': 333, 'user': 'User A'}
{'uid': 444, 'user': 'User B'}
{'uid': 555, 'user': 'User C'}
{'uid': 666, 'user': 'User C'}

这是 Small_file.txt 的格式（有几百万行）：

{'uid': 333, 'user': 'User A'}
{'uid': 444, 'user': 'User B'}
{'uid': 555, 'user': 'User C'}

我期望的输出：

111
222

Answer 1

在列表中查找项目需要O(n) 时间。如果您使用dict 或set，您可以将其改进为O(1)。

您可以做的最短修改是：

linesB = []
for line in open('E:/Small_file.txt'):
    line = json.loads(line)
    linesB.append(hash(line['uid']))
linesB = set(linesB)

或者做对了

linesB = set()
for line in open('E:/Small_file.txt'):
    line = json.loads(line)
    linesB.add(hash(line['uid']))