在python中的大文件中迭代和匹配

Question

我有两个大文本文件：

“字母”超过 600 000 行

“数字”超过 100 000 行

字母看起来像这样：

AAAA
AAAB
AAAC
etc…

数字有两列，一列是“id”，一列是数字列表：

id1 5、201、66、33 id2 356 id3 5103, 2, 452 ETC…

我希望“字母”中的每一行都代表一个数字：

1个AAAA 2 AAAB ETC…

然后检查“数字”中的哪一行包含该数字，然后将该 id 与字母组合配对，仅在这种情况下：

AAAB    id3

这个脚本需要几天才能运行：

combine = {}
for i, x in enumerate(letters):
    for id, number in numbers.items():
        if i+1 in number:
            combine[x['letter']] = id

有更快的方法吗？

Answer 1

如果您使用线性时间算法而不是二次算法，则 1e5 和 6e5 不是大数：

#!/usr/bin/env python
with open('letters') as file:
    letters = file.read().splitlines()

def combine_ids(letters):
    with open('numbers') as file:
        for line in file:
            id, space, numbers_str = line.lstrip().partition(' ')
            try:
                numbers = list(map(int, numbers_str.split(',')))
            except ValueError:
                continue # skip invalid lines
            for n in numbers:
                try:
                    yield letters[n], id
                except IndexError:
                    pass

result = dict(combine_ids(letters))
print(result)

如果多个id可能对应同一个字母（如果numbers文件中有重复的数字），那么最新的数字获胜。

示例

数字：

id1 5, 33
id2 23
id3 103, 2, 3

字母：

AAAA
AAAB
AAAC
AAAD
AAAE
AAAF
AAAG
AAAH
AAAI
AAAJ
AAAK
...
AAAX
AAAY
AAAZ

输出

{'AAAX': 'id2', 'AAAC': 'id3', 'AAAD': 'id3', 'AAAF': 'id1'}

注意：这里的数字2 对应于AAAC（从零开始索引），如果字母应该从1 索引，则使用letters[n-1]（假设n>=1）。

Answer 2

将所有字母存储在列表中letters = ["AAAA", "AAAB", "AAAC", ...]。

现在在读入 numbers 文件后，创建一个类似

的映射

0 mapped to id1
1 mapped to id2
....

m[0] = "id1", m[1] = "id2"...

在执行上述步骤时，创建一个零数组，读入 numbers 文件并分配它所属的映射行

p = [0] * len(letters)
nums = row[row.find(" ") + 1:].split(", ")
row_name = row[:row.find(" ") - 1]
for num in nums:
    p[num] = m[row_name]

现在在letters 列表中查找第 i 个字母及其编号即可

print p[i]

Answer 3

你可以对每个文件进行一次遍历，O(N)：

1. 将字母文件读入数组。您将得到数组索引 (+ 1?) = 行号。

2. 读取数字文件。对于每一行：使用数字将id 与数组中的字母组合起来。