在多个标题行上拆分 csv 中的行

Question

我对python很陌生，所以请温柔。

我有一个 .csv 文件，以这种格式向我报告，所以我对此无能为力：

ClientAccountID   AccountAlias   CurrencyPrimary    FromDate
         SomeID      SomeAlias          SomeCurr    SomeDate
        OtherID     OtherAlias         OtherCurr   OtherDate
ClientAccountID   AccountAlias   CurrencyPrimary    AssetClass
         SomeID      SomeAlias          SomeCurr     SomeClass
        OtherID     OtherAlias         OtherCurr     OtherDate
      AnotherID   AnotherAlias       AnotherCurr   AnotherDate

我在 python 中使用 csv 包，所以我有：

with open(theFile, 'rb') as csvfile:
    theReader = csv.DictReader(csvfile, delimiter = ',')

据我了解，它创建了字典“theReader”。如何将此字典子集化为多个字典，并按原始 csv 文件中的标题行将它们拆分？是否有一种简单、优雅、非循环的方法来创建字典列表（甚至是字典字典，以帐户 ID 作为键）？这有意义吗？

哦。请注意标题行不相等，但标题行将始终以“ClientAccountID”开头。

感谢@codie，我现在使用以下内容将 csv 拆分为几个字典，基于使用 '\t' 分隔符。

with open(theFile, 'rb') as csvfile:
    theReader = csv.DictReader(csvfile, delimiter = '\t')

但是，我现在将整个标题行作为键，将其他行作为值。我该如何进一步拆分？

感谢下面的@Benjamin Hodgson，我有以下几点：

from csv import DictReader
from io import BytesIO

stringios = []

with open('file.csv', 'r') as f:
    stringio = None
    for line in f:
        if line.startswith('ClientAccountID'):
            if stringio is not None:
                stringios.append(stringio)
            stringio = BytesIO()
        stringio.write(line)
        stringio.write("\n")
    stringios.append(stringio)

data = [list(DictReader(x.getvalue(), delimiter=',')) for x in stringios]

如果我在 stringios 中打印第一个项目，我会得到我所期望的。它看起来像一个单独的 csv。但是，如果我打印数据中的第一项，使用下面，我会得到一些奇怪的东西：

for row in data[0]:
    print row

返回：

{'C':'U'}
{'C':'S'}
{'C':'D'}
...

所以看起来它正在拆分每个字符，而不是使用逗号分隔符。

Answer 1

如果我正确理解了您的问题，您就有一个包含多个表格的 CSV 文件。表格由标题行分隔，标题行始终以字符串 "ClientAccountID" 开头。

因此，工作是将 CSV 文件读入字典列表列表。列表中的每个条目对应于 CSV 文件中的一个表。

我会这样做：

1. 将包含多个表的单个 CSV 文件拆分为多个文件，每个文件包含一个表。 （这些文件可能在内存中。）通过查找以 "ClientAccountID" 开头的行来执行此操作。
2. 使用DictReader 将每个文件读入字典列表。

下面是一些将文件读入StringIOs 列表的代码。 （StringIO 是一个内存文件。它通过将字符串包装到类似文件的接口中来工作。

from csv import DictReader
from io import StringIO

stringios = []

with open('file.csv', 'r') as f:
    stringio = None
    for line in f:
        if line.startswith('ClientAccountID'):
            if stringio is not None:
                stringio.seek(0)
                stringios.append(stringio)
            stringio = StringIO()
        stringio.write(line)
        stringio.write("\n")
    stringio.seek(0)
    stringios.append(stringio)

如果我们遇到以'ClientAccountID' 开头的行，我们将当前的StringIO 放入列表并开始写入新的。完成后，记得将最后一个也添加到列表中。 在您使用stringio.seek(0) 写入StringIO 后，不要忘记（就像我在此答案的早期版本中所做的那样）。

现在可以直接循环遍历 StringIOs 以获取字典表。

data = [list(DictReader(x, delimiter='\t')) for x in stringios]

对于列表stringios 中的每个类文件对象，创建一个DictReader 并将其读入列表。

如果您的数据太大而无法放入内存，则修改此方法并不难。使用生成器而不是列表并逐行进行处理。

Answer 2

如果您的数据不是逗号或制表符分隔的，您可以使用str.split，您可以将其与itertools.groupby 结合使用来分隔标题和行：

from itertools import groupby, izip, imap

with open("test.txt") as f:
    grps, data = groupby(imap(str.split, f), lambda x: x[0] == "ClientAccountID"), []
    for k, v in grps:
        if k:
            names = next(v)
            vals = izip(*next(grps)[1])
            data.append(dict(izip(names, vals)))

from pprint import pprint as pp

pp(data)

输出：

[{'AccountAlias': ('SomeAlias', 'OtherAlias'),
  'ClientAccountID': ('SomeID', 'OtherID'),
  'CurrencyPrimary': ('SomeCurr', 'OtherCurr'),
  'FromDate': ('SomeDate', 'OtherDate')},
 {'AccountAlias': ('SomeAlias', 'OtherAlias', 'AnotherAlias'),
  'AssetClass': ('SomeClass', 'OtherDate', 'AnotherDate'),
  'ClientAccountID': ('SomeID', 'OtherID', 'AnotherID'),
  'CurrencyPrimary': ('SomeCurr', 'OtherCurr', 'AnotherCurr')}]

如果是制表符分隔，只需更改一行：

with open("test.txt") as f:
    grps, data = groupby(csv.reader(f, delimiter="\t"), lambda x: x[0] == "ClientAccountID"), []
    for k, v in grps:
        if k:
            names = next(v)
            vals = izip(*next(grps)[1])
            data.append(dict(izip(names, vals)))