如何将较大文件中的多个 csv 文件打开为代码？答案

【问题标题】：How to open several csv files from a larger file into code?如何将较大文件中的多个 csv 文件打开为代码？
【发布时间】：2021-03-20 21:52:06
【问题描述】：

好的，我有一个文件，里面有 1000 个 csv 文件。因此，不必提取 500 个 csv 文件，我想知道可以编写什么代码来提取所有 csv 文件，然后将它们附加到列表中。想象一下：

csv_file_list = []    

for csv in big_file:
    csv_file_list.append(csv)

所以这就是我想要做的，现在显然这会提供一个错误，所以我的问题是什么是正确编码的方法？

【问题讨论】：

文件包含 1000 个 CSV 文件或 1000 个 CSV 文件路径？
文件包含 1000 个 csv 路径，每个路径中都有数据集
您必须循环读取 CSV 文件并将其数据附加到列表中......
你能展示一个可以做到这一点的代码吗？我可以使用 pandas read_csv 函数读取它们吗？
您的文件格式是什么？你需要举个例子来获得帮助

标签： python pandas csv file

【解决方案1】：

import pandas as pd
import os
dataset = []

folder_path = 'path to your folder here in commas'

for csv in os.listdir(folder_path):
    dataset.append(pd.read_csv(os.path.join(folder_path,csv)))

【讨论】：

好的，但是我该如何调用大文件？所以说路径是-Users/benitocano/Desktop/Mega Package Data/us_1500_tickers_A_C_hgj7gj。如何以一种计算机可以理解的方式编写它？
你的大文件也是csv吗？
不是文件夹
现在检查我的代码。你必须在第 4 行写路径，在 ' ' 这些逗号内

【解决方案2】：

这是一个例子。是这个主意吗？

numCSVFILES = 10
csv_paths = ['/'.join(['part%d%d'%(j,i) for i in range(3)])+'/csvfile%d.csv'%j for j in range(numCSVFILES)]
with open('junk.txt','w') as fio:
    fio.write('\n'.join(csv_paths))

with open('junk.txt','r') as fio:
    csv2_paths = fio.read().split('\n')

print(csv2_paths)

输出

['part00/part01/part02/csvfile0.csv', 'part10/part11/part12/csvfile1.csv', 'part20/part21/part22/csvfile2.csv', 'part30/part31/part32/csvfile3.csv', 'part40/part41/part42/csvfile4.csv', 'part50/part51/part52/csvfile5.csv', 'part60/part61/part62/csvfile6.csv', 'part70/part71/part72/csvfile7.csv', 'part80/part81/part82/csvfile8.csv', 'part90/part91/part92/csvfile9.csv']

【讨论】：