使用 Python 2.7 比较 2 个 csv 文件并将不同的行输出到第 3 个 CSV 文件

Question

我正在尝试比较两个 csv 文件并使用 python 2.7 找到不同的行。当所有列不相同时，行被认为是不同的。这些文件将是具有所有相同列的相同格式，并且将采用这种格式。

oldfile.csv
ID      name     Date          Amount
1       John     6/16/2015     $3000
2       Adam     6/16/2015     $4000

newfile.csv
ID      name     Date          Amount
1       John     6/16/2015     $3000
2       Adam     6/16/2015     $4000
3       Sam      6/17/2015     $5000
4       Dan      6/17/2015     $6000

当我运行我的脚本时，我希望输出只是最后两行并写在一个 csv 文件中，不幸的是我无法让我的代码正常工作。我在下面写的内容会打印出 oldfile.csv 的内容，并且不会打印不同的行。我想要代码做的是在 output.csv 文件中打印出最后一行。即

output.csv
3       Sam      6/17/2015     $5000
4       Dan      6/17/2015     $6000

这是我使用 csv 模块的代码 python 2.7 代码。

import csv

f1 = open ("olddata/olddata.csv")
oldFile1 = csv.reader(f1)
oldList1 = []
for row in oldFile1:
    oldList1.append(row)

f2 = open ("newdata/newdata.csv")
newFile2 = csv.reader(f2)
newList2 = []
for row in newFile2:
    newList2.append(row)

f1.close()
f2.close()

output =  [row for row in oldList1 if row not in newList2]

print output

不幸的是，代码只打印出 oldfile.csv 的内容。我整天都在研究它并尝试不同的变化，但我根本无法让它正常工作。再次，您的帮助将不胜感激。

Answer 1

您当前正在检查旧文件中存在但新文件中不存在的行。那不是你想做的。

相反，您应该检查新文件中存在但不在新文件中的行：

output =  [row for row in newList2 if row not in oldList1]

---

另外，您的 CSV 文件是 TSV，因此无法正确加载。您应该指示 csv 模块使用 TSV 打开文件。您的代码也可以简化。

这是你可以使用的：

import csv

f1 = open ("olddata/olddata.csv")
oldFile1 = csv.reader(f1, delimiter='\t')
oldList1 = list(oldFile1)

f2 = open ("newdata/newdata.csv")
newFile2 = csv.reader(f2, delimiter='\t')
newList2 = list(newFile2)

f1.close()
f2.close()

output1 =  [row for row in newList2 if row not in oldList1]
output2 =  [row for row in oldList1 if row not in newList2]

print output1 + output2

Answer 2

如果您的文件看起来像提供的输入，您可以使用集合：

with open("olddata/olddata.csv") as f1, open("newdata/newdata.csv") as f2:
    header = next(f1).split()
    st = set(f1)
    with open("out.csv","w") as out:
        wr = csv.writer(out,delimter="\t")
        # write lines only if they are not in the set of lines from olddata/olddata.csv
        wr.writerows((row.split() for row in f2 if row not in st))

您无需在newdata.csv 中创建行列表，您可以遍历文件对象并随心所欲地编写或执行任何操作。 with 也会自动关闭你的文件。

或者没有 csv 模块，只存储行：

 with open("olddata/olddata.csv") as f1, open("newdata/newdata.csv") as f2:
    header = next(f1)
    st = set(f1)
    with open("out.csv", "w") as out:
        out.writelines((line for line in f2 if line not in st))

输出：

ID      name     Date          Amount
3       Sam      6/17/2015     $5000
4       Dan      6/17/2015     $6000

或者全部使用 csv 模块：

import csv
from itertools import imap
with open("olddata/olddata.csv") as f1, open("newdata/newdata.csv")  f2:
    r1 = csv.reader(f1, delimiter="\t")
    header = next(r1)
    st = set(imap(tuple, r1))
    with open("out.csv", "w") as out:
        wr = csv.writer(out, delimiter="\t")
        r2 = csv.reader(f2, delimiter="\t")
        wr.writerows((row for row in imap(tuple, f2) if row not in st))

如果您不关心顺序并且想要出现在其中但不在两者中的行，您可以使用set.symmetric_difference。

import csv
from itertools import imap
with open("olddata/olddata.csv") as f1, open("newdata/newdata.csv")  f2:
    r1 = csv.reader(f1, delimiter="\t")
    header = next(r1)
    st = set(imap(tuple, r1))
    r2 = csv.reader(f2, delimiter="\t")
    print(st.symmetric_difference(imap(tuple, r2)))

输出：

   set([('ID', '', 'name', 'Date', 'Amount'), ('3', 'Sam', '6/17/2015', '$5000'), ('4', 'Dan', '6/17/2015', '$6000')])

排序数据和写入仍然比使用列表更有效。