通过重复的单元格 Python 将 CSV 拆分为两个文件

Question

在第一个实例之后重复行 ID（奇怪地放置在第 8 列，即行 [7]）时，我想将这些行写入第二个文件。我尝试过的代码非常慢——它是一个 40 列的 CSV，大约有一百万行。这就是我所拥有的：

def in_out_repsplit(inf, outf1, outf2):
    outf1 = csv.writer(open(outf1, 'wb'), delimiter=',', lineterminator='\n')
    outf2 = csv.writer(open(outf2, 'wb'), delimiter=',', lineterminator='\n')
    inf1 = csv.reader(open(inf, 'rbU'), delimiter=',')
    inf1.next()
    checklist = []
    for row in inf1:
        id_num = str(row[7])
        if id_num not in checklist:
            outf1.writerow(row)
            checklist.append(id_num)
        else:
            outf2.writerow(row)

Answer 1

in 运算符在 Python list() 上进行线性搜索，因为您只需要成员资格测试，Python 的 set() 是一个更合适的结构，具有平均恒定时间成员资格测试。对于具有一百万行的 CSV，这个小改动应该会大大加快速度。

def in_out_repsplit(inf, outf1, outf2):
    outf1 = csv.writer(open(outf1, 'wb'), delimiter=',', lineterminator='\n')
    outf2 = csv.writer(open(outf2, 'wb'), delimiter=',', lineterminator='\n')
    inf1 = csv.reader(open(inf, 'rbU'), delimiter=',')
    inf1.next()
    checklist = set()
    for row in inf1:
        id_num = str(row[7])
        if id_num not in checklist:
            outf1.writerow(row)
            checklist.add(id_num)
        else:
            outf2.writerow(row)

另外，如果id_num 是一个整数，请使用int 而不是str。如果 id_num 在 [0...N] 范围内（其中 N 合理地接近百万行），您可以使用布尔值列表并获得更快的查找。

    ...
    checklist = [False] * (MAXID + 1)
    for row in inf1:
        id_num = int(row[7])
        if not checklist[id_num]:
            outf1.writerow(row)
            checklist[id_num] = True
        else:
            outf2.writerow(row)