附加到具有正确对象类型的数据框列表

Question

我猜这个问题并非特定于熊猫。 我试图在一个文件夹中找到所有 xls 文件，用 pandas 读取它们并将它们中的每一个写入数据框。之后我想将所有数据帧连接到一个。

在循环中，我使用此命令重命名每个数据帧并带有日期戳（以便保留它以供以后连接）：

exec("%s = %s" % ('data_'+date,'data'))

然后将新的数据框名称附加到列表中：

dataframes = dataframes + 'data_'+date

当我尝试通过以下方式连接此列表时：

data_total = pd.concat(dataframes)

我不断收到错误：

TypeError: cannot concatenate object of type '<class 'str'>'; only Series and DataFrame objs are valid

我知道制作字符串列表是行不通的，我应该建立一个数据框列表。我该怎么做呢？当我手头没有明确的变量名时，我很难理解如何进行分配。

更新： 我发布了更多代码以便更好地理解。

# filepaths is a list of paths to excel files in the folder

dataframes = []
for file in filepaths:
    date = file[-14:-4]                              # Read date from file name
    data = pd.read_excel(file)                       # Read excel sheet
    exec("%s = %s" % ('data_'+date,'data'))          # rename data frame
    dataframes = dataframes + 'data_'+date           # Update list of data frames for concatenation below

data_total = pd.concat(dataframes)

谢谢， 塞巴斯蒂安

Answer 1

动态变量名是一种反模式。它给了程序员一堆几乎无法访问的对象。如果要将名称关联到对象，正确的方法是使用字典：

dataframes = {}
for file in filepaths:
    date = file[-14:-4]                              # Read date from file name
    data = pd.read_excel(file)                       # Read excel sheet
    dataframes[date] = data                          # store the dataframe with its date

data_total = pd.concat(dataframes.values())

---

但是这里你没有使用名字，所以你可以使用一个简单的列表：

dataframes = []
for file in filepaths:
    data = pd.read_excel(file)                       # Read excel sheet
    dataframes.append(data)                          # store the dataframe

data_total = pd.concat(dataframes)

或者理解：

data_total = pd.concat([pd.read_excel(file) for file in filepaths])

Answer 2

解决方案

您不需要单独命名数据框。据我了解，您希望将不同的数据框连接起来（沿axis=0），并为每个数据框添加一个具有相应日期的列。 date 是从 excel 文件的名称中提取出来的，并添加到最终数据框中的 date 列中。

下面的解决方案首先使用glob 库来获取.xlsx (excel) 文件的列表。然后它使用list-comprehension 将所有数据帧组合在一起，同时动态读取每个数据帧并使用pandas.Dataframe.assign() 和lambda-function 添加date 列。

import pandas as pd
from glob import glob

base_path = 'some_directory'
excel_files = glob(base_path + '/*.xlsx')

## Read all the excel files and store 
#  in a list of dataframes: dfs
#  >>> dfs --> dataframes
dfs = [(pd.read_excel(excel_file))
          .assign(date=excel_file[-14:4]) \
       for excel_file in excel_files]
## Consolidate all dataframes
#  >>> data_total --> consolidated dataframe
df = pd.concat(dfs, axis=0) 

一行中的完整解决方案

import pandas as pd
from glob import glob

base_path = 'some_directory'
df = pd.concat([( pd.read_excel(excel_file))
                    .assign(date=excel_file[-14:4] ) \
        for excel_file in glob(base_path + f'/*.xlsx')], 
        axis=0)

我建议您不要使用变量名称data_total，因为它会错误地给人以数据总和（总和值）的印象。如果我没记错的话，您想要的是所有数据框的合并数据框。

在最终数据框中不保存日期的解决方案

import pandas as pd
from glob import glob

base_path = 'some_directory'
excel_files = glob(base_path + f'/*.xlsx')
df = pd.concat([pd.read_excel(excel_file) for excel_file in exce_files], axis=0)