Python嵌套了两个字典的For循环，内循环不重置

Question

我正在尝试比较两个 csv 文件之间的特定值。我使用 csv.DictReader() 函数读取了两个 csv 文件，并且我有一个嵌套的 for 循环，每个循环都通过一个阅读器。当然，对于外部循环的每次迭代，通常内部 for 循环都会重置并遍历其整个循环，但对我而言并非如此。当使用我的调试器时，我可以在外循环的第二次迭代中看到，代码完全跳过了内循环，就好像没有任何东西可以循环一样。这是由于遍历字典阅读器对象的属性吗？如果是这样，我该如何解决？我在下面包含了我的代码的 sn-p。

with open('csv1.csv', 'r') as inFile1:
   with open('csv2.csv', 'r') as inFile2:
      reader1 = csv.DictReader(inFile1)
      reader2 = csv.DictReader(inFile2)

      for row1 in reader1:
         for row2 in reader2:
            if row1['key1'] == row2['key2']:
               [Perform other operations here]

Answer 1

一旦你用尽了一个迭代器，它就不会自动重置。

相反，您必须为每个外部迭代提供一个新的内部迭代器。

with open('csv1.csv', 'r') as inFile1:
    reader1 = csv.DictReader(inFile1)

    for row1 in reader1:
        with open('csv2.csv', 'r') as inFile2:
            reader2 = csv.DictReader(inFile2)
            for row2 in reader2:
                if row1['key1'] == row2['key2']:
                    [Perform other operations here]

或者，如果文件大小合理，只需在处理文件之前将文件读入内存即可：

with open('csv1.csv', 'r') as inFile1, open('csv2.csv', 'r') as inFile2:
    csv1 = list(csv.DictReader(inFile1))
    csv2 = list(csv.DictReader(inFile2))
    
for dict1 in csv1:
    for dict2 in csv2:
        if dict1['key1'] == dict2['key2']:
            [Perform other operations here]                        

Answer 2

@djones 的答案有效，但效率极低，因为它需要 O(nxm) 的时间复杂度，其中 n 和 m 是数字两个文件的行数。

如果你从第一个文件中构建一个以key1 为键的字典，并通过第二个文件迭代行以在字典中找到key2 的匹配项，则可以在线性时间内解决该问题。由于 dict 查找的平均时间复杂度为 O(1)，因此整体时间复杂度将变为 O(n)：

with open('csv1.csv', 'r') as inFile1:
    rows1 = {row1['key1']: row1 for row1 in csv.DictReader(inFile1)}
with open('csv2.csv', 'r') as inFile2:
    for row2 in csv.DictReader(inFile2):
        key = row2['key2']
        if key in rows1:
            print(rows1[key], row2)

如果两个 CSV 文件中的两个表的键是多对多的关系，但是，您可以将第一个文件读入列表的 dict 中，这样您仍然可以从中查找键第二个文件以恒定时间完成整个过程，以O(n + m + k)的线性时间复杂度完成整个过程，其中n和m是两个文件的记录数，k是匹配数：

rows1 = {}
with open('csv1.csv', 'r') as inFile1:
    for row1 in csv.DictReader(inFile1):
        rows1.setdefault(row1['key1'], []).append(row1)
with open('csv2.csv', 'r') as inFile2:
    for row2 in csv.DictReader(inFile2):
        for row1 in rows1.get(row2['key2'], ()):
            print(row1, row2)

Demo here