读取带有重复标题的 CSV 文件

Question

python中的csv module之前没用过，不过感觉用起来很方便。

问题是我尝试读取的 CSV 文件也时不时地在文件中包含标题（索引）。

类似这样的：

A, B, C, D, E, F
1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6
A, B, C, D, E, F
1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6
A, B, C, D, E, F
1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6

我可以按原样使用csv module，还是必须自己解析。

Answer 1

您可以通过检查您是否只是阅读标题行来按原样使用它。例如，使用DictReader，您可以这样做：

with open('file.csv') as f:
    reader = csv.DictReader(f)
    lines = [row for row in reader
             if not all(k == v for k, v in row.iteritems())]

这将适用于您的示例文件的方式是：

1. DictReader 构造函数读取第一个标题行，确定字段名为 "A", "B", "C", "D", "E", "F"。
2. 遍历reader 然后返回像{"A": "1", "B": "2", ...} 这样的字典。
3. lines 中的列表理解查看每一行字典。它首先会看到像{"A": "1", ...} 这样的字典。 all(k == v for k, v in row.iteritems()) 循环遍历行的键和值，设置例如k = "A" 和 v = "1"。无论它首先看到哪个取决于字典决定如何迭代，它都会看到k != v，因此all() 调用将是False，这意味着该行进入列表lines。李>
4. 当它到达重复的标题行时，它会看到像{"A": "A", "B": "B", ...} 这样的字典。然后，由于键等于每个字典元素的值，all() 调用将返回True，列表推导中的条件将是False，这意味着该行不会进入最终列表。请注意，如果您的标题行可能有不同的间距，您需要先对键/值调用 .strip()，然后再在 all() 调用中比较它们。
5. 最后，您的示例文件的lines 将等于[{"A": 1, "B": 2, ...}] * 9；重复的标题行已被删除。

如果您想逐行处理文件而不是一次将其读入一个列表，只需将lines 的列表理解更改为生成器表达式，方法是将[row for row ...] 更改为(row for row ...) .然后你可以循环lines，但循环后每一行都会被遗忘（就像你一开始就做了for row in reader）。