使用python从多个文件导入数据

Question

我必须创建一个应用程序，我必须在其中导入给定文件夹中的所有 excel 文件并将其添加到数据框中。数据框应如下所示：

Expected Data Frame

如图所示，数据框的一列是文件名。

我已经在最终的dataframe中成功添加了该列，代码如下：

import pandas as pd
import os
import shutil
import re  
path = 'C:/Users/Administrator/Desktop/Zerodha/Day2'
lst = os.listdir(path)
files = [os.path.join(path,x) for x in lst]
print(lst)
dataframes_lst = []

for file in files:
 filename = file.split('/')[-1]
 dataframe = pd.read_csv(file, usecols=[0,4], names ["date",filename],index_col=["date"])
dataframes_lst.append(dataframe)

df = pd.concat(dataframes_lst, axis=1)

print(df)


df.to_csv('data.csv')

使用此代码获得的数据框如下所示：

作为参考，我将附上其中一个 excel 文件的 sn-p：

Excel snippet

还可以看到，获得了许多 nan 值。我尝试通过使用 pd.dropna(inplace = True) 函数以及按照这篇文章中的建议来删除它们：

1. How to drop rows of Pandas DataFrame whose value in a certain column is NaN

但生成的数据框仍然包含 nan 值。

Answer 1

试试这个：

import pandas as pd    
from pathlib import Path
read_path = Path('C:/Users/Administrator/Desktop/Zerodha/Day2')
    
df = pd.concat([pd.read_csv(path) for path in read_path.glob('*.csv')])

如果您想从 excel 中读取，只需使用 read_excel 并将模式更改为 '*.xlsx'

Answer 2

关于

我的疑问是如何遍历目录中的所有文件并以所需格式提取每个文件的数据

您可以遍历目录中的所有文件并将数据和文件名提取为数据框的标题，如下所示：

import pandas as pd
import os

path = './data'
lst = os.listdir('./data/')
files = [os.path.join(path,el) for el in lst]

example.xlsx的结构是：

dataframes_lst = []

for file in files:
    filename = file.split('/')[-1]
    dataframe = pd.read_excel(file, usecols=[3], names=[filename])
    dataframes_lst.append(dataframe)

df = pd.concat(dataframes_lst, axis=1)
print(df)

在这里，数据帧沿axis=1 和print(df)is 的输出连接