如何在python中打开具有多个数据框的文件夹并合并到一个csv文件中

Question

如何在一个csv文件中合并多个df python来打开文件夹

我有大约 700 个 csv 文件都有完全相同的列，我需要将所有文件合并到一个 csv 文件中。

那是数据，都在一个文件夹里，文件名有一个模式，就像“日期” = ex: 07 25 2018

07252018 = {name: "Carlos", age:"30", height: "15" }

name     age   height
Carlos   30    15



07262018 = {name: "Carlos", age:"30", height: "15" }

name     age   height
Carlos   30    15



and etc.. range of 700csv

我做了什么..

• 它可以工作，但是非常手动，需要大量输入，因为有 700 个 csv 文件

03012018 = pd.read_csv("Data/03012018 )
03022018 = pd.read_csv("Data/03012018 )
03032018 = pd.read_csv("Data/03012018 )
03042018 = pd.read_csv("Data/03012018 )
03052018 = pd.read_csv("Data/03012018 )
and etc..



file = pd.cancat([03012018,03022018,03032018,03042018,03052018 ])

file.to_csv("Data/file")

预期输出将是一种最佳方式，无需大量输入即可快速完成。

Answer 1

IIUC，应该这样做：

选项 1：

效率较低，可读性更好：

def get_df():
    df=pd.DataFrame()
    for file in os.listdir():
        if file.endswith('.csv'):
            aux=pd.read_csv(file)
            df=df.append(aux)
    return df

然后：

df=get_df()

选项 2：

内存效率更高，可读性更低：

def df_generator():

    for file in os.listdir():
        if file.endswith('.csv'):
            aux=pd.read_csv(file)
            yield aux

然后：

generator=df_generator()
df = pd.DataFrame()
for table in generator:
    df = df.append(table)

注意：要按原样工作，脚本必须位于包含 csv 的文件夹内。否则，您需要从脚本所在的文件夹中添加该文件夹的相对路径。

示例：如果您的脚本位于“Project”文件夹中，并且在该文件夹中，您的文件夹“Tables”中包含所有 csv，您可以这样做：

os.listdir('Tables/')