读取多个csv数据文件并将数据排序成一个新的csv文件

Question

我正在尝试读取文件夹中的多个 csv 文件，从每个 csv 文件中提取三列（key_resp.rt、key_resp_4.rt 和 participant）并将这些信息写入一个新的 csv 文件中。我能够在不将结果写入 csv 文件的情况下运行 for 循环。但是使用下面的代码，新的 csv 文件 (sort.csv) 只包含数据字符串的标题，没有真实数据。

我的代码：

import os
import glob
import csv

#path contain the directory of the folder
path = r'C:\Users\Time estimates task\modified psychopy\reading data-2'
extension = 'csv'
os.chdir(path)
csvlist = glob.glob('*.{}'.format(extension))
print(csvlist) #print out the list of csv file names
for file in csvlist:
    with open (file,'r') as csvfile:
        csv_reader=csv.DictReader(csvfile)
#        for line in csv_reader:
#            print (line['participant'])
        with open('sort.csv','w') as sortfile:
            fieldnames=['key_resp.rt','key_resp_4.rt', 'participant']
            csv_writer=csv.DictWriter(sortfile,fieldnames=fieldnames,delimiter=',',extrasaction='ignore')
            csv_writer.writeheader()
            for line in csv_reader:
                csv_writer.writerow(line)

Answer 1

虽然可以多次打开输出文件并向其中添加数据（通过使用 'a' 的 mode 参数来表示“追加”而不是 "w" 表示正常（过度）写入——请参阅open() 函数文档——在这种情况下，只打开输出文件 一次 并在附加数据时保持原样会不那么尴尬从输入文件中，一个接一个。

这就是我的意思：（注意：没有尝试对数据进行排序，因为您没有指定要如何完成。）

import csv
import glob
import os

path = r'.\_reading data-2'  # Path of directory containing data files.
extension = 'csv'
fieldnames = 'key_resp.rt', 'key_resp_4.rt', 'participant'
output_filename = 'sort.csv'  # Output filename.
output_filepath = os.path.join(path, output_filename)  # Output in same directory.

csvlist = [filename for filename in glob.glob(os.path.join(path, f'*.{extension}'))
            if filename != output_filepath]  # Avoid reading any existing output file.
print(csvlist) # Print out the list of csv file names.

with open(output_filepath, 'w', newline='') as sortfile:
    csv_writer = csv.DictWriter(sortfile, fieldnames=fieldnames, delimiter=',',
                                extrasaction='ignore')
    csv_writer.writeheader()
    for file in csvlist:
        with open(file, 'r', newline='') as csvfile:
            csv_writer.writerows(csv.DictReader(csvfile))

print('Done')