如何将数据从一个数据帧映射到另一个数据帧的列？

Question

我有两个独立的数据框，代表不同类型的基于时间的数据。一个包含分布在几个月内的数十万个时间戳。此数据框具有代表一年中的月份、一天中的时间和测量温度的列。第二个数据框包含每个月/小时组合的替换温度。数据大致如下：

df1

Timestamp	Month	Hour	Temperature
1/1/2021 00:00:00	1	0	10
1/1/2021 00:00:05	1	0	11
1/1/2021 00:00:07	1	0	8
1/1/2021 00:00:15	1	0	12
1/1/2021 00:01:00	1	1	13

等等

df2

Hour	Jan	Feb	Mar	Apr	etc
0	9	12	10	12	etc
1	10	11	14	15	etc
2	8	7	12	16	etc

df2 包含一天中每个小时的行，以及一年中每个月的列（在真实数据集中，月份是数字，我写了名称以使描述清晰）。

我需要将 df2 中包含的月份/小时的数据映射到 df 1 中的温度列。所以 df1 编辑后应该如下所示。

新的 df1

Timestamp	Month	Hour	Temperature
1/1/2021 00:00:00	1	0	9
1/1/2021 00:00:05	1	0	9
1/1/2021 00:00:07	1	0	9
1/1/2021 00:00:15	1	0	9
1/1/2021 00:01:00	1	1	10

我已经使用嵌套的 for 循环使其工作，如下所示：

for month in df2.columns:
    for hour in df2.index:
        dT = df2.loc[hour, month]
        df1.loc[(df1['Month'] == month) & (df1['Hour'] == hour), 'Temperature'] = dT

嵌套的 for 循环遍历 df2 中的所有月份和时间，找到 df1 中具有匹配月份和时间的单元格，然后将温度设置为等于从 df2 中读取的温度。

但是这段代码既难以阅读又执行起来超级慢。有人知道更好的方法吗？？

谢谢！

Answer 1

让我们按顺序调用 df1 和 df2 两个数据帧。

首先，确保 Timestamp 是 datetime 并提取月份短名称（我们也可以将月份编号映射到短名称）

df1['Timestamp'] = pd.to_datetime(df1['Timestamp'])
df1['Month_name'] = df1['Timestamp'].dt.month_name().str[:3]

注意。如果速度很关键，则跳过上述步骤并重新设计您的 df2 以使用月份数字代替月份名称作为列，然后在最后一步中使用 df1 的“月份”列执行合并

然后重做 df2 以取消堆叠月份（这可以在下一步中直接应用或保存在变量中）：

df2.set_index('Hour').unstack().rename('Temperature')

最后merge两人：

df1.merge(df2.set_index('Hour').unstack().rename('Temperature'),
          left_on=['Month_name', 'Hour'],
          right_index=True,
          suffixes=('_old', ''),
         )

输出：

            Timestamp  Month  Hour  Temperature_old Month_name  Temperature
0 2021-01-01 00:00:00      1     0               10        Jan            9
1 2021-01-01 00:00:05      1     0               11        Jan            9
2 2021-01-01 00:00:07      1     0                8        Jan            9
3 2021-01-01 00:00:15      1     0               12        Jan            9
4 2021-01-01 00:01:00      1     1               13        Jan           10

如果您只想保留新的温度，请添加.drop(['Month', 'Temperature_old'], axis=1)