从同一文件夹中的多个文件创建一个csv文件[重复]

Question

我在同一个文件夹中有数千个 csv 文件名称，如下所示 file_x_x.csv 其中 x 是 1 到 10000 之间的数字。 每个文件包含一个标题和一行数据：

file_1_1.csv

Name Surname Age Address
Michael O'Donnel 22 George St.

file_2_2.csv

Name Surname Age Address
Mary Jane 34 Camden St.

等等。

我正在寻找创建一个包含所有这些行的文件：

final_file.csv

Name Surname Age Address
Michael O'Donnel 22 George St.
Mary Jane 34 Camden St.

...

我的做法：

import pandas as pd
import glob

path = # add path
all_files = glob.glob(path + ".csv") # look for all the csv files in that folder. Probably this is not the right code for looking at them

file_list = []

for filename in all_files:
    df = pd.read_csv(filename)
    file_list(df)

我不知道最后如何创建一个唯一的文件。你能看看上面的代码并告诉我如何获得所需的输出以及我是否遗漏了什么？

Answer 1

你不需要在这里做任何复杂的事情。您知道标题行，并且您知道您希望最终成为 除了 标题之外的所有内容。只需打开文件，跳过第一行，然后写入。这比内存中一堆数据帧的内存消耗要高效得多。

import glob

with open("final_file.csv", "w") as outfile:
    for count, filename in enumerate(glob.glob(path + ".csv")):
        with open(filename) as infile:
            header = next(infile)
            if count == 0:
                outfile.write(header)
            line = next(infile)
            if not line.startswith("\n"):
                line = line + "\n"
            outfile.write(line)

Answer 2

我建议使用pd.concat 将 DataFrame 组合成一个大的 DataFrame，然后您可以根据需要将其保存到不同的文件中。

在连接 DataFrame 之前，您可能必须修改对 pd.read_csv 的调用，以确保正确处理数据。如果您问题中的示例数据与 CSV 文件的内容逐字匹配，则代码 sn-p 将如下所示：

import pandas as pd
import glob

path = "/my_path" # set this to the folder containing CSVs
names = glob.glob(path + "*.csv") # get names of all CSV files under path

# If your CSV files use commas to split fields, then the sep 
# argument can be ommitted or set to ","
file_list = pd.concat([pd.read_csv(filename, sep=" ") for filename in names])

#save the DataFrame to a file
file_list.to_csv("combined_data.csv")

请注意，组合索引中的每一行仍将根据其源文件中的行号进行索引，从而创建重复的行索引。要更改它，请致电pd.DataFrame.reset_index()

file_list = file_list.reset_index(drop=True)