如何向 map(pd_read_csv) 添加其他参数？

Question

大约 2 年前，有人用一种非常优雅的方式将多个 csv 文件读入一个数据帧： Import multiple csv files into pandas and concatenate into one DataFrame

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

但是，如果您想要一个不同的分隔符或者您的 csv 文件没有标题怎么办？您在上面的语句中将 header = None 之类的参数放在哪里？

Answer 1

您可以使用 itertools.starmap。

这个函数需要：

• 一个函数作为第一个参数，
• 并在每组参数上运行它来自可迭代（第二 参数 - 元组列表）。

我运行了以下示例：

import itertools as it

# read_csv wrapper
def rd_csv(fn, separ, hdr):
    print(f'File: {fn} / sep: {separ} / header: {hdr}')
    if hdr is None:
        return pd.read_csv(fn, sep=separ,
            names=['ind', 'POLL_X', 'POLL_Y', 'POLL_Z', 'POLL_DNW', 'AVal', 'ZVal'])
    else:
        return pd.read_csv(fn, sep=separ, header=hdr)

# Parameters for consecutive calls (filename, separator, header)
inputs = [ ('Input_1.csv', ',', 0), ('Input_2.csv', ';', None) ]

# Read all files
res = pd.concat(it.starmap(rd_csv, inputs), ignore_index=True)

执行期间的测试打印输出为：

File: Input_1.csv / sep: , / header: 0
File: Input_2.csv / sep: ; / header: None

（将它们放到目标版本中）。

注意当header == None时的“特殊处理”。

原因是：

• 使用 header=0 读取的数据帧将具有从 第一行。
• 使用 header=None 读取的数据帧将列名设置为 连续的数字，

这样连接这些列将无法正确连接。

考虑一下，当header == None时，包装函数 必须自己指定列名（names 参数）（因此它必须包括 硬编码的列名）。

这种组合背后的基本原理是，如果所有这些源文件 要连接到一个 DataFrame 中，它们应该有一个共同的集合 列名，即使某些输入文件实际上不包含它们 在第一行。