Python Pandas - 组合 CSV 并添加文件名

Question

我正在尝试将 CSV 文件合并到一个文件夹中来分析它们。另外，我想将每个文件的文件名附加为一列，以便找出哪些数据来自哪个文件。我看过类似的问题，但没有一个对我有用。

这是我正在使用的代码。此文件夹中有 24 个 CSV 文件，因为以后使用 cat 组合 CSV 文件很容易，所以即使是告诉我如何在每个文件中附加文件名的方法也是完美的。任何帮助都会很棒。

import pandas as pd
import os
import glob
import csv
path=r'/home/videept/Downloads/A_DeviceMotion_data/A_DeviceMotion_data/dws_1/'
with open('output.csv', 'w', newline='') as f_output:
    csv_output = csv.writer(f_output)

    for filename in glob.glob(os.path.join(path,"*.csv")):
        with open(filename, newline='') as f_input:
            csv_input = csv.reader(f_input)

            for row in csv_input:
                row.insert(0, filename)
                csv_output.writerow(row)

当我这样做时，单元格进入无限循环，甚至没有创建新文件。我不确定我如何才能看到正在发生的事情的进展，所以任何关于这方面的想法也会很棒。谢谢:)

Answer 1

首先，确保所有 csv 文件具有相同的结构。然后确保您可以正确读取一个 csv 文件。然后你可以迭代地做：

import pandas as pd
import glob

df_all = pd.DataFrame()

for f in glob.glob("path/to/csv/files/prefix_*.csv"):

    df = pd.read_csv(f) # make sure to apply correct settings (sep, parse_dates, headers, missing_values)
    df["origin"] = f #add a column with a csv name
    df_all = df_all.append(df) #append new df to the "master" dataframe

df_all.to_csv("merged.csv")

更新： 如果您担心所有数据都无法存储在您的记忆中，请查看Dask 库。

Answer 2

我会这样做（前提是您使用的是 Python 3.4+）：

import pandas as pd
from pathlib import Path

source_files = sorted(Path('path_to_source_directory').glob('*.csv'))

dataframes = []
for file in source_files:
    df = pd.read_csv(file) # additional arguments up to your needs
    df['source'] = file.name
    dataframes.append(df)

df_all = pd.concat(dataframes)

这样，每一行都有一列代表它的源文件，便于过滤和分析。

Answer 3

您可以在不使用任何库的情况下检查此代码： https://github.com/BeleganStartup/Merge-Combine-CSV-files---PYTHON