加快文件解析

Question

以下函数将一个 CSV 文件解析为一个字典列表，其中列表中的每个元素都是一个字典，其中的值由文件的标题（假设为第一行）索引。

这个函数非常非常慢，对于一个相对较小的文件（少于 30,000 行）大约需要 6 秒。

如何加快速度？

def csv2dictlist_raw(filename, delimiter='\t'):
    f = open(filename)
    header_line = f.readline().strip()
    header_fields = header_line.split(delimiter)
    dictlist = []
    # convert data to list of dictionaries
    for line in f:
    values = map(tryEval, line.strip().split(delimiter))
    dictline = dict(zip(header_fields, values))
    dictlist.append(dictline)
    return (dictlist, header_fields)

回应cmets：

我知道有一个 csv 模块，我可以这样使用它：

data = csv.DictReader(my_csvfile, delimiter=delimiter)

这要快得多。但是，问题在于它不会自动将显然是浮点数和整数的东西转换为数字，而是将它们变成字符串。我该如何解决这个问题？

使用“Sniffer”类对我不起作用。当我在我的文件上尝试它时，我得到了错误：

File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/csv.py", line 180, in sniff
    raise Error, "Could not determine delimiter"
Error: Could not determine delimiter

如何让 DictReader 将字段解析为它们的类型？

谢谢。

谢谢。

Answer 1

熊猫呢？

import pandas as pd

# load everything in
df = pd.read_table(filename)

# coerce strings to numeric
df = df.convert_objects(convert_numeric=True)

Answer 2

import ast

# find field types
for row in csv.DictReader(my_csvfile, delimiter=delimiter):
    break
else:
    assert 0, "no rows to process"
cast = {}
for k, v in row.iteritems():
    for f in (int, float, ast.literal_eval):
        try: 
            f(v)
            cast[k] = f
            break
        except (ValueError, SyntaxError):
            pass
    else: # no suitable conversion
        cast[k] = lambda x: x.decode(encoding)

# read data
my_csvfile.seek(0)

data = [dict((k.decode(encoding), cast[k](v)) for k, v in row.iteritems())
        for row in csv.DictReader(my_csvfile, delimiter=delimiter)]

Answer 3

我发现您的代码存在几个问题：

• 为什么需要字典？密钥存储在每个 dict 实例中，这会增加内存消耗。

• 您真的需要将所有实例都保存在内存中还是可以选择使用yield？

• 尝试转换每个值需要时间，在我的选择中没有任何意义。如果您有一列具有值“abc”和“123”，则最后一个值可能应该是一个字符串。所以列的类型应该是固定的，你应该明确转换。

• 即使您想使用转换逻辑：使用 csv 模块并在之后转换值。