Python/Pandas - 连接多索引数据帧时出现类型错误

Question

我无法连接具有 2 个级别的 MultiIndex DataFrames 列表，并添加第三个以区分它们。

例如，我有以下输入数据。

import pandas as pd
import numpy as np

# Input data

start = '2020-01-01 00:00+00:00'
end = '2020-01-01 02:00+00:00'
pr1h = pd.period_range(start=start, end=end, freq='1h')

midx1 = pd.MultiIndex.from_tuples([('Sup',1),('Sup',2),('Inf',1),('Inf',2)], names=['Data','Position'])
df1 = pd.DataFrame(np.random.rand(3,4), index=pr1h, columns=midx1)
df3 = pd.DataFrame(np.random.rand(3,4), index=pr1h, columns=midx1)

midx2 = pd.MultiIndex.from_tuples([('Sup',3),('Inf',3)], names=['Data','Position'])
df2 = pd.DataFrame(np.random.rand(3,2), index=pr1h, columns=midx2)
df4 = pd.DataFrame(np.random.rand(3,2), index=pr1h, columns=midx2)

所以 df1 和 df2 具有相同标签 1h 的数据，虽然它们在 Data 级别具有相同的列名，但它们在 Position 级别没有相同的列名。

df1
Data                   Sup                 Inf          
Position                 1         2         1         2
2020-01-01 00:00  0.660795  0.538452  0.861801  0.502479
2020-01-01 01:00  0.205806  0.847124  0.474861  0.906546
2020-01-01 02:00  0.681480  0.479512  0.631771  0.961844

df2
Data                   Sup       Inf
Position                 3         3
2020-01-01 00:00  0.758533  0.672899
2020-01-01 01:00  0.096463  0.304843
2020-01-01 02:00  0.080504  0.990310

现在，df3 和 df4 遵循相同的逻辑和相同的列名。为了将它们与 df1 和 df2 区分开来，我想使用不同的标签，例如 2h。

我想在调用pd.concat 期间添加名为Period 的第三层。为此，我尝试在pd.concat() 中使用keys 参数。我尝试了以下代码。

df_list = [df1, df2, df3, df4]
period_list = ['1h', '1h', '2h', '2h']
concatenated = pd.concat(df_list, keys=period_list, names=('Period', 'Data', 'Position'), axis=1)

但这会引发以下错误。

TypeError: int() argument must be a string, a bytes-like object or a number, not 'slice'

请问，你知道这个的正确调用是什么吗？

感谢您的帮助。最好的，

编辑 05/05

根据要求，这是所需的结果（直接从给定的答案复制。从给定答案获得的结果是我正在寻找的结果）。

Period                  1h                                                    \
Data                   Sup                 Inf                 Sup       Inf   
Position                 1         2         1         2         3         3   
2020-01-01 00:00  0.309778  0.597582  0.872392  0.983021  0.659965  0.214953   
2020-01-01 01:00  0.467403  0.875744  0.296069  0.131291  0.203047  0.382865   
2020-01-01 02:00  0.842818  0.659036  0.595440  0.436354  0.224873  0.114649   

Period                  2h                                                    
Data                   Sup                 Inf                 Sup       Inf  
Position                 1         2         1         2         3         3  
2020-01-01 00:00  0.356250  0.587131  0.149471  0.171239  0.583017  0.232641  
2020-01-01 01:00  0.397165  0.637952  0.372520  0.002407  0.556518  0.523811  
2020-01-01 02:00  0.548816  0.126972  0.079793  0.235039  0.350958  0.705332

Answer 1

一个快速的解决方法是在period_list 和rename 中紧跟concat 之后使用不同的名称。比如：

df_list = [df1, df2, df3, df4]
period_list = ['1h_a', '1h_b', '2h_a', '2h_b']
concatenated = pd.concat(df_list, 
                         keys=period_list, 
                         names=('Period', 'Data', 'Position'), 
                         axis=1)\
                 .rename(columns={col:col.split('_')[0] for col  in period_list}, 
                         level='Period')

print (concatenated)
Period                  1h                                                    \
Data                   Sup                 Inf                 Sup       Inf   
Position                 1         2         1         2         3         3   
2020-01-01 00:00  0.309778  0.597582  0.872392  0.983021  0.659965  0.214953   
2020-01-01 01:00  0.467403  0.875744  0.296069  0.131291  0.203047  0.382865   
2020-01-01 02:00  0.842818  0.659036  0.595440  0.436354  0.224873  0.114649   

Period                  2h                                                    
Data                   Sup                 Inf                 Sup       Inf  
Position                 1         2         1         2         3         3  
2020-01-01 00:00  0.356250  0.587131  0.149471  0.171239  0.583017  0.232641  
2020-01-01 01:00  0.397165  0.637952  0.372520  0.002407  0.556518  0.523811  
2020-01-01 02:00  0.548816  0.126972  0.079793  0.235039  0.350958  0.705332 

编辑：由于速度是一个问题，重命名似乎很慢，所以你可以这样做：

concatenated = pd.concat(df_list, 
                         keys=period_list,
                         axis=1)
concatenated.columns = pd.MultiIndex.from_tuples([(col[0].split('_')[0], col[1], col[2]) 
                                                  for col in concatenated.columns], 
                                                  names=('Period', 'Data', 'Position'), )

Answer 2

考虑类似数据帧的内部concat，然后运行最终的concat 将所有数据绑定在一起：

concatenated = pd.concat([pd.concat([df1, df2], axis=1),
                          pd.concat([df3, df4], axis=1)],
                         keys = ['1h', '2h'],
                         names=('Period', 'Data', 'Position'),
                         axis=1)

print(concatenated)  

Period                  1h                                                    \
Data                   Sup                 Inf                 Sup       Inf   
Position                 1         2         1         2         3         3   
2020-01-01 00:00  0.189802  0.675083  0.624484  0.781774  0.453101  0.224525   
2020-01-01 01:00  0.249818  0.829180  0.190488  0.923107  0.495873  0.278201   
2020-01-01 02:00  0.602634  0.494915  0.612672  0.903609  0.426809  0.248981   

Period                  2h                                                    
Data                   Sup                 Inf                 Sup       Inf  
Position                 1         2         1         2         3         3  
2020-01-01 00:00  0.746499  0.385714  0.008561  0.961152  0.988231  0.897454  
2020-01-01 01:00  0.643730  0.365023  0.812249  0.291733  0.045417  0.414968  
2020-01-01 02:00  0.887567  0.680102  0.978388  0.018501  0.695866  0.679730