Python仅排除另一个csv文件中存在的csv文件中的行

Question

尝试编写一个脚本，仅从特定目录下的 csv 文件中排除行，该目录存在于另一个 csv 文件中，并将输出重定向到另一个 csv。这有点像要应用的例外规则。

像下面的输入一样，考虑以下异常：

inDirectory/input.csv:

  Id    Name    Location    Data   Services  Action
  10    John    IN          1234   mail      active
  12    Samy    GR          5678   phone     disable
  28    Doug    UK          9123   phone     active

excDirectory/exception.csv:

  12    Samy    GR          5678   phone     disable

想要重定向输出如下：

outDirectory/output.csv:

  Id    Name    Location    Data   Services  Action
  10    John    IN          1234   mail      active
  28    Doug    UK          9123   phone     active

我能写如下，这是不完整的，我正在寻找一个执行相同的解决方案。任何的想法？我对 Python 脚本非常陌生。

import pandas as pd

inDir = os.listdir('csv_out_tmp')
excFile = pd.read_csv('exclude/exception.csv', sep=',', index_col=0)
for csv in inDir:
  inFile = pd.read_csv('csv_out_tmp/' + csv)
  diff = set(inFile)^set(excFile)
  df[diff].to_csv('csv_out/' + csv, index=False)

我按照@neotrinity 编写的另一种方式代码

inDir = os.listdir('csv_out_tmp')
excFile = 'exclude/exception.csv'
for csv in inDir:
  inFile = open('csv_out_tmp/' + csv)
  excRow = set(open(excFile))
  with open('csv_out/' + csv, 'w') as f:
    for row in open(inFile):
      if row not in excRow:
        f.write(row)

使用上面的代码，我得到的错误如下

for row in open(inFile):
  TypeError: coercing to Unicode: need string or buffer, file found

Answer 1

说实话，你不需要 pandas。

in_file = 'in.csv'
out_file = 'out.csv'
exception_file = 'exp.csv'
exception_rows = set(open(exception_file))
with open('out.csv', 'w') as f:
    for row in open('in.csv'):
        if row not in exception_rows:
            f.write(row)

这使用最少的资源。 只加载内存中的异常文件。

逐行遍历输入文件并写入消耗最少内存的输出文件（逐行）。

之后，您可以使用 pandas 进行数据分析。